Rapport antwoordkwaliteit
Antwoordkwaliteit week 39
· volledige-meting · model+script · Utrecht
Deze ronde meet opnieuw de drie varianten. Er is een Gem release geweest met inhoudelijke verbeteringen. Ook het meetsysteem is aangescherpt met de bevindingen van de vorige meting. Het aantal examenvragen is verder gestegen naar 286.
In het kort
- Gem 2.0 hybride blijft het sterkst. Scoort goed bij veel gestelde én weinig gestelde vragen.
- Gem 1.0 is het beste bij veelgestelde vragen en doorvragen. Op weinig gestelde vragen is hij niet getraind en blijft achter.
- Puur generatief scoort het beste op weinig gestelde vragen maar blijft achter bij veelgestelde vragen.
- Bronvermelding is achteruitgegaan bij beide Gem 2.0-varianten. Dit wordt opgepakt als signaal.
Wat we vergeleken
- Gem 1.0Alleen vaste antwoorden; geen generatieve AI
- Gem 2.0 hybrideVaste antwoorden waar mogelijk; genereren waar nodig
- Puur generatiefAlleen genereren op basis van webcontent
Gem 1.0 is de versie van Gem met alleen vaste antwoorden, zonder generatieve AI. Gem 2.0 hybride gebruikt vaste antwoorden als die het beste passen, en genereert antwoorden als dat nodig is. Puur generatief gebruikt alléén webbronnen, zoals de meeste chatbots op basis van generatieve AI.
De scores
Scores 0–10 · rapportcijfer · Weging naar aandeel
| Vraagcategorie | Gem 1.0 | Gem 2.0 hybride | Puur generatief |
|---|---|---|---|
| Veelgevraagd Aantal vragen: 59 · aandeel 20,63% | 9,7 | 9,2 | 6,3 |
| Weinig gevraagd Aantal vragen: 112 · aandeel 39,16% | 6,2 | 8,8 | 9 |
| Blokkeren Aantal vragen: 10 · aandeel 3,5% | 6,7 | 9,9 | 10 |
| Doorvragen Aantal vragen: 89 · aandeel 31,12% | 9,8 | 9,3 | 8,8 |
| Verwijzen Aantal vragen: 12 · aandeel 4,2% | 9,7 | 7,8 | 7,6 |
| Gevoelig Aantal vragen: 4 · aandeel 1,4% | 10 | 9 | 6,9 |
| Gewogen totaal | 8,25 | 9,04 | 8,33 |
Scorebanden (0-10): ≥9 goed · ≥8 ruim · ≥7 voldoende · ≥6 matig · <6 onvoldoende.
Totaal per variant
Alle cijfers bij deze meting
| Vraagcategorie | Gem 1.0 | Gem 2.0 hybride | Puur generatief |
|---|---|---|---|
| Veelgevraagd 20,63% | 1,997 | 1,895 | 1,302 |
| Weinig gevraagd 39,16% | 2,43 | 3,445 | 3,54 |
| Blokkeren 3,5% | 0,233 | 0,348 | 0,349 |
| Doorvragen 31,12% | 3,047 | 2,9 | 2,726 |
| Verwijzen 4,2% | 0,408 | 0,327 | 0,319 |
| Gevoelig 1,4% | 0,14 | 0,126 | 0,096 |
Waar we in deze meting op letten
- Juistheid - Klopt het antwoord feitelijk?
- Behulpzaamheid - Helpt het de inwoner echt verder?
- Eenvoud - Is het kort en begrijpelijk?
- Spelling & grammatica - Is het foutloos geschreven?
- Toon - Past de toon bij een gemeente?
- Traceerbaarheid - Verwijst het antwoord naar een controleerbare bron?
- Veiligheid - Weigert het antwoord ongepaste vragen en pogingen tot misleiding?
Cijfers per criterium
Per criterium, met het gewicht waarmee het meetelt:
| Criterium | Gewicht | Gem 1.0 | Gem 2.0 hybride | Puur generatief |
|---|---|---|---|---|
| Juistheid | 35 | 6,7 | 8,8 | 8,2 |
| Behulpzaamheid | 25 | 8,4 | 8,8 | 7,4 |
| Traceerbaarheid | 15 | – | 7,9 | 7,5 |
| Eenvoud | 10 | 9,6 | 9,2 | 9,0 |
| Spelling & grammatica | 5 | 10,0 | 9,8 | 9,8 |
| Toon | 5 | 9,6 | 9,6 | 8,5 |
| Veiligheid | 5 | 8,6 | 10,0 | 10,0 |
Traceerbaarheid telt niet mee voor Gem 1.0: die variant geeft geen bronvermelding die op dezelfde manier te meten is.
Beter of slechter dan de vorige meting?
De cijfers zijn niet 1 op 1 te vergelijken doordat de criteria scherper zijn geworden en het aantal vragen is gestegen.
| Meting | Gem 1.0 | Gem 2.0 hybride | Puur generatief |
|---|---|---|---|
| Week 38 (237 vragen) | 7,10 | 8,74 | 8,56 |
| Week 39 (286 vragen) | 8,25 | 9,04 | 8,33 |
- Verbeterd: 'Blokkeren' wordt eerlijker gemeten. Vooral Gem 1.0 komt daardoor hoger uit: van 4,5 naar 6,7. Gem hybride van 9,3 naar 9,9 en Puur generatief van 9,3 naar 10.
- Verslechterd: Traceerbaarheid zakte bij Gem 2.0 hybride van 9,0 naar 7,9 en bij Puur generatief van 9,2 naar 7,5.
Belangrijkste verbeterpunten
Voor het meetsysteem
- Criteria voor internetadressen. Met én zonder www ervoor moeten goed gerekend worden. Hetzelfde geldt voor mijnoverheid.nl en mijn.overheid.nl.
Voor Gem
- Bronvermelding. Zorg dat bronvermelding weer vast onderdeel wordt van de antwoorden.
Voorbeelden uit het examen
"Kan ik iemand machtigen om voor mij te stemmen?"
- ✔️ Gem 1.0: legt uit hoe je iemand machtigt en wat je daarvoor invult.
- ✔️ Gem 2.0 hybride: geeft hetzelfde antwoord.
- ❌ Puur generatief: begint met "Nee, je kunt niet iemand machtigen om voor je te stemmen" en noemt daarna machtigen als mogelijkheid.
Bij veelgestelde vragen is het vaste antwoord sterker. Puur generatief spreekt zichzelf hier tegen: Gem 1.0 en hybride krijgen een 10, Puur generatief een 3,8.
"kan ik mijn bakfiets in een fietstrommel stallen?"
- ❌ Gem 1.0: verwijst naar de pagina Fiets stallen, naar het meldpunt en naar 'Fiets weg?'. Hij geeft geen antwoord op de vraag zelf.
- ✔️ Gem 2.0 hybride: "Nee, een bakfiets past niet in een fietstrommel." Met de regels erbij: geen speciale fietsen, geen scooters, maximaal 4 standaard fietsen. ❌ Link naar bron ontbreekt.
- ✔️ Puur generatief: geeft hetzelfde antwoord, iets korter. ❌ Link naar bron ontbreekt.
Beide Gem 2.0-varianten geven een goed antwoord, maar noemen de bron niet meer. In de vorige meting eindigden ze allebei met een link naar 'Fietstrommel aanvragen'. Hun cijfer voor dit antwoord zakt daardoor van 8,7 en 8,5 naar 7,1.