Rapport antwoordkwaliteit
Antwoordkwaliteit per soort vraag
· volledige-meting · model+script · Utrecht
Deze rapportage is een vervolg op de vorige rapportage. In deze rapportage kijken we dieper naar de scores op verschillende soorten vragen. Afhankelijk van de vraag, verwachten we ander gedrag van Gem. Bijvoorbeeld inhoudelijk antwoorden, een verhelderende vraag stellen of beleefd weigeren van een ongepaste vraag. Hoe scoren de verschillende varianten op de verschillende soorten vragen?
In het kort
- Gem 1.0 scoort het beste bij veelgestelde vragen, doorvragen en verwijzen. Dit zijn vragen waar Gem op getraind is. Bij weinig gestelde vragen scoort Gem 1.0 juist het slechts. Gem 1.0 kan alleen goed antwoorden bij ‘vragen naar de bekende weg’.
- Gem 2.0 Hybride scoort goed bij zowel veelgestelde vragen als bij weinig gestelde vragen, door de combinatie van vaste antwoorden en genereren. Doorvragen en verwijzen gaan inmiddels beter dan in vorige testrondes, maar behoeft nog verbetering.
- Puur generatief vertoont slordigheden bij veelgestelde vragen waarbij de beantwoording complex is, doordat het geen gebruik kan maken van de vaste antwoorden die door de community geformuleerd zijn.
Wat we vergeleken
- Gem 1.0Gem 1.0
- Gem 2.0 hybrideGem 2.0 met hybride beantwoording
- Puur generatiefGem 2.0 met webbronnen
De scores
Scores 0–10 · rapportcijfer · Weging naar aandeel
| Vraagcategorie | Gem 1.0 | Gem 2.0 hybride | Puur generatief |
|---|---|---|---|
| Veelgevraagd Aantal vragen: 10 · aandeel 4,24% | 8,8 | 8,4 | 5,3 |
| Weinig gevraagd Aantal vragen: 112 · aandeel 47,46% | 1,9 | 8,6 | 7,8 |
| Blokkeren Aantal vragen: 10 · aandeel 4,24% | 8,4 | 10 | 10 |
| Doorvragen Aantal vragen: 89 · aandeel 37,71% | 9,4 | 8,5 | 8 |
| Verwijzen Aantal vragen: 11 · aandeel 4,66% | 9,6 | 6,9 | 5,3 |
| Gevoelig Aantal vragen: 4 · aandeel 1,69% | 10 | 8,5 | 6 |
| Gewogen totaal | 5,79 | 8,53 | 7,72 |
Scorebanden (0-10): ≥9 goed · ≥8 ruim · ≥7 voldoende · ≥6 matig · <6 onvoldoende.
Bijdrage per vraagcategorie
Gem 1.0 · totaal 5,79
Gem 2.0 hybride · totaal 8,53
Puur generatief · totaal 7,72
- Veelgevraagd
- Weinig gevraagd
- Blokkeren
- Doorvragen
- Verwijzen
- Gevoelig
Bijdragen in de aangeleverde scoreschaal, gewogen naar aandeel. De waarden per segment staan in de tabel onder ‘Alle cijfers bij deze meting’.
Alle cijfers bij deze meting
| Vraagcategorie | Gem 1.0 | Gem 2.0 hybride | Puur generatief |
|---|---|---|---|
| Veelgevraagd 4,24% | 0,373 | 0,356 | 0,225 |
| Weinig gevraagd 47,46% | 0,902 | 4,082 | 3,702 |
| Blokkeren 4,24% | 0,356 | 0,424 | 0,424 |
| Doorvragen 37,71% | 3,545 | 3,205 | 3,017 |
| Verwijzen 4,66% | 0,447 | 0,322 | 0,247 |
| Gevoelig 1,69% | 0,169 | 0,144 | 0,101 |
Waar we in deze meting op letten
- Juistheid. Vertoont Gem het gewenste gedrag? En als dit een inhoudelijk antwoord is, klopt dat?
- Behulpzaamheid. Helpt Gem de inwoner echt verder? Ook bij verwijzen of doorvragen?
- Toon. Hanteert Gem de juiste toon? Ook bij gevoelige vragen of bij ongepaste vragen?
Sterke en zwakke punten per variant
Gem 1.0
Sterk
- Getraind gedrag: doorverwijzen 9,6, gevoelige vragen 10,0, doorvragen 9,4
- Prettigste taal: eenvoud 10,0 en toon 10,0
Zwak
- Onbekende vragen 1,9: Gem weet geen antwoord of geeft ander antwoord dan gewenst
- Blokkeren ongewenste vragen 8,4: ander antwoord i.p.v. blokkeren
Gem 2.0 Hybride
Sterk
- Geen zwakke plek: laagste cijfer per soort vraag 6,9
- Beste inhoud: juistheid 8,6, vorm en stijl 9,9
- Blokkeren ongewenste vragen 10,0: allemaal tegengehouden
Zwak
- Verwijzen 6,9: Gem 1.0 haalt daar een 9,6
- Traceerbaarheid 8,5: bronlink ontbreekt of wijst verkeerd
Puur generatief
Sterk
- Onbekende vragen 7,8: redelijk, en dat zonder enig vast antwoord
- Blokkeren ongewenste vragen 10,0: allemaal tegengehouden
Zwak
- Veelgevraagd 5,3 en verwijzen 5,3: zelfde gat als Puur Generatief
- Laagste van de vier: juistheid 7,1, behulpzaamheid 7,0, bronlink 7,7
- Gevoelige vragen 6,0: grootste verschil met Gem 1.0
Verbeterpunten
Voor het meetsysteem
- Verwijzen en traceerbaarheid. Het meten van (behulpzame) hyperlinks bij doorverwijzing en bronvermelding kan scherper gemeten worden.
Voor Gem
- Toon: medeleven Gem geeft soms nog té veel medeleven met de situatie van de vraagsteller. Dit moet kort zijn, direct gevolgd door behulpzame informatie.
Gerelateerde meetrapporten
Aanvulling op
- Antwoordkwaliteit bij meer vragen meetdatum