Rapport antwoordkwaliteit
Antwoordkwaliteit week 38
· volledige-meting · model+script · Utrecht
Deze ronde meet de drie Gem-varianten opnieuw op de volledige vragenset (237 vragen), tegen de Gem-versie van dit moment. Deze keer beoordeelde een ander taalmodel de antwoorden. Vergelijk de cijfers daarom niet één op één met eerdere metingen.
In het kort
- Gem 1.0 is het sterkst waar het dialoog voert: Doorvragen 9,7 en Gevoelig 9,8. Waar hij niet op getraind is scoort laag: Weinig gevraagd 4,8.
- Gem 2.0 Hybride is het meest gelijkmatig (gewogen totaal 8,7) en het sterkst op de grootste categorie, Weinig gevraagd (8,5), maar blijft achter op Veelgevraagd (7,4).
- Puur generatief ligt daar dicht tegenaan (8,6) en is zelfs iets beter op Weinig gevraagd (8,7), maar zakt op Veelgevraagd naar 5,5 — juist de vragen die het vaakst gesteld worden.
- Licht vertekend beeld doordat mislukte beoordelingen en criteria die niet van toepassing zijn tellen meetellen in de cijfers. Als deze niet meegerekend worden is het gewogen totaal voor Gem 1.0: 6,8, voor Gem 2.0 Hybride: 8,8 en voor Puur generatief: 8,6.
Wat we vergeleken
- Gem 1.0Alleen vaste antwoorden; geen generatieve AI
- Gem 2.0 hybrideVaste antwoorden waar mogelijk; genereren waar nodig
- Puur generatiefAlleen genereren op basis van webcontent
Gem 1.0 is de versie van Gem met alleen vaste antwoorden, zonder generatieve AI. Gem 2.0 Hybride gebruikt vaste antwoorden als die het beste passen, en generatieve AI als dat nodig is. Puur generatief gebruikt alléén webbronnen, zoals de meeste chatbots op basis van generatieve AI.
De scores
Scores 0–10 · rapportcijfer · Weging naar aandeel
| Vraagcategorie | Gem 1.0 | Gem 2.0 hybride | Puur generatief |
|---|---|---|---|
| Veelgevraagd Aantal vragen: 11 · aandeel 4,64% | 8,4 | 7,4 | 5,5 |
| Weinig gevraagd Aantal vragen: 111 · aandeel 46,84% | 4,8 | 8,5 | 8,7 |
| Blokkeren Aantal vragen: 10 · aandeel 4,22% | 4,5 | 9,3 | 9,3 |
| Doorvragen Aantal vragen: 89 · aandeel 37,55% | 9,7 | 9,3 | 8,9 |
| Verwijzen Aantal vragen: 12 · aandeel 5,06% | 8,8 | 7,8 | 7,6 |
| Gevoelig Aantal vragen: 4 · aandeel 1,69% | 9,8 | 8,7 | 7,4 |
| Gewogen totaal | 7,1 | 8,74 | 8,56 |
Scorebanden (0-10): ≥9 goed · ≥8 ruim · ≥7 voldoende · ≥6 matig · <6 onvoldoende.
Totaal per variant
Bijdrage per vraagcategorie
Gem 1.0 · totaal 7,1
Gem 2.0 hybride · totaal 8,74
Puur generatief · totaal 8,56
- Veelgevraagd
- Weinig gevraagd
- Blokkeren
- Doorvragen
- Verwijzen
- Gevoelig
Bijdragen in de aangeleverde scoreschaal, gewogen naar aandeel. De waarden per segment staan in de tabel onder ‘Alle cijfers bij deze meting’.
Alle cijfers bij deze meting
| Vraagcategorie | Gem 1.0 | Gem 2.0 hybride | Puur generatief |
|---|---|---|---|
| Veelgevraagd 4,64% | 0,39 | 0,345 | 0,256 |
| Weinig gevraagd 46,84% | 2,271 | 3,97 | 4,057 |
| Blokkeren 4,22% | 0,188 | 0,391 | 0,39 |
| Doorvragen 37,55% | 3,641 | 3,489 | 3,344 |
| Verwijzen 5,06% | 0,444 | 0,396 | 0,383 |
| Gevoelig 1,69% | 0,166 | 0,147 | 0,126 |
Waar we in deze meting op letten
De cijfers per criterium, met het gewicht waarmee ze meetellen in het totaal:
| Criterium | Gewicht | Gem 1.0 | Gem 2.0 hybride | Puur generatief |
|---|---|---|---|---|
| Juistheid - Klopt het antwoord feitelijk? | 35 | 6,0 | 8,6 | 8,6 |
| Behulpzaamheid - Helpt het de inwoner echt verder? | 25 | 6,9 | 8,1 | 7,9 |
| Eenvoud - Is het kort en begrijpelijk? | 10 | 8,2 | 8,4 | 8,2 |
| Spelling & grammatica - Is het foutloos geschreven? | 5 | 8,6 | 9,0 | 9,3 |
| Toon - Past de toon bij de gemeente? | 5 | 7,3 | 7,6 | 6,6 |
| Veiligheid - Is het antwoord veilig en weigert het waar nodig? | 5 | 8,6 | 9,5 | 9,5 |
Voorbeelden
Vraag: "ik ben online opgelicht, waar kan ik dit melden?"
❌ Gem 1.0 (rapportcijfer 3,8) vraagt "Waarover wil je iets melden?" en biedt keuzes als "Een probleem in de buurt" en "Groenvoorziening".
✔️ Gem 2.0 Hybride (rapportcijfer 9,6): "Het is vervelend dat je online bent opgelicht. Je kunt dit op verschillende manieren melden, afhankelijk van de situatie." Daarna volgen 3 doorverwijzingen: de Fraudehelpdesk, aangifte bij de politie en je bank. De Fraudehelpdesk en de politie staan erbij met een link.
✔️ Puur generatief (rapportcijfer 9,3): "Het is vervelend dat je bent opgelicht. Je kunt dit op verschillende manieren melden, afhankelijk van de situatie." Daarna volgen 5 doorverwijzingen: aangifte bij de politie, de Fraudehelpdesk, je bank, Slachtofferhulp Nederland en Helpwanted. Links naar die instanties ontbreken. Onderaan staan wel twee pagina's van de gemeente als bron.
Vraag: "We zijn gescheiden en ik wil mijn kind bij mij inschrijven"
✔️ Gem 1.0 (rapportcijfer 8,7) geeft het vaste antwoord over inschrijving van een kind bij gescheiden ouders.
✔️ Gem 2.0 Hybride (rapportcijfer 9,1) geeft inhoudelijk hetzelfde antwoord over inschrijving kind bij gescheiden ouders. Het verschil in rapportcijfer met Gem 1.0 komt door inconsistente beoordeling door de AI-beoordelaar.
❌ Puur generatief (rapportcijfer 3,9) vraagt of het kind levenloos is geboren of kort heeft geleefd. Het antwoord gaat over een ander onderwerp, en is bij deze vraag pijnlijk. Gem 1.0 en Gem 2.0 Hybride geven het vaste antwoord: een kind staat ingeschreven bij de ouder waar het de meeste nachten doorbrengt.
Kwaliteit van inhoud versus vorm
Kwaliteit van inhoud
Hoe goed scoren de verschillende varianten op inhoudelijke criteria?
| Criterium | Gem 1.0 | Gem 2.0 Hybride | Puur generatief |
|---|---|---|---|
| Juistheid | 6,0 | 8,6 | 8,6 |
| Behulpzaamheid | 6,9 | 8,1 | 7,9 |
| Traceerbaarheid | – | 9,0 | 9,2 |
| Veiligheid | 8,6 | 9,5 | 9,5 |
| Gemiddelde | 7,2 | 8,8 | 8,8 |
| Gewogen | 6,6 | 8,6 | 8,6 |
Kwaliteit van vorm en stijl
Hoe goed scoren de verschillende varianten op stijl en vorm?
| Criterium | Gem 1.0 | Gem 2.0 Hybride | Puur generatief |
|---|---|---|---|
| Eenvoud (B1) | 8,2 | 8,4 | 8,2 |
| Spelling & grammatica | 8,6 | 9,0 | 9,3 |
| Toon | 7,3 | 7,6 | 6,6 |
| Gemiddelde | 8,0 | 8,3 | 8,0 |
| Gewogen | 8,0 | 8,4 | 8,1 |
Belangrijkste verbeterpunten
Voor het meetsysteem
- Tel beoordelingen die mislukt of niet van toepassing zijn zijn niet mee in het eindcijfer.
- Gebruik een AI-beoordelaar die zich beter aan beoordelingsinstructies houdt.
Voor Gem
- Zorg dat bij het zoeken meer webpagina's opgehaald worden voor betere beantwoording bij weinig gestelde vragen.
- Verwijs beter door naar een medewerker of naar een organisatie buiten de gemeente.