Rapport antwoordkwaliteit
Antwoordkwaliteit bij vragen over het sociaal domein
· volledige-meting · model+script · Utrecht
Eind augustus ontving Gem bij vijf verschillende gemeenten zo'n 800 gedetailleerde vragen op het gebied van het sociaal domein. Gem 1.0 is op zulke vragen niet getraind en was niet erg behulpzaam. Gem 2.0 zou deze vragen wél goed moeten kunnen beantwoorden, dus dat hebben we getest. De 800 vragen bevatten herhalingen, dus hebben we de lijst teruggebracht naar zo'n 150 unieke vragen.
In het kort
- Wat Gem zegt, klopt bijna altijd. Vrijwel alle informatie was terug te vinden in de bron. 1x putte Gem uit algemene kennis van het taalmodel en 2x gaf Gem informatie die goed was maar niet rechtstreeks uit de bron kwam.
- Twee derde van de vragen krijgt een volledig antwoord. 98 van de 149 vragen. 38 vragen werden gedeeltelijk beantwoord. 13 vragen kregen geen inhoudelijk antwoord, vrijwel altijd omdat de informatie niet in de bron stond.
- Als Gem het niet weet, zegt Gem dat eerlijk. Maar als Gem geen informatie heeft, blijft de verwijzing vaak vaag: "neem contact op met de gemeente".
Wat we vergeleken
- Gem 2.0 hybrideVaste antwoorden waar mogelijk; genereren waar nodig
Eén variant: Gem 2.0 Hybride bij gemeente Utrecht. Dit rapport vergelijkt dus geen varianten, maar beschrijft één variant op één moment.
De scores
In de tabel zie je de scores per criterium. Ieder criterium is gemeten met 1 of meer subcriteria; deze zie je onder het criterum. Het cijfer voor 'juistheid' is lager dan het gemiddelde van de onderliggende criteria. Dit komt doordat twee antwoorden fouten maakten op kritieke onderdelen. Deze kritieke fouten wegen extra zwaar in de beoordeling.
Scores 0–10 · rapportcijfer · Relatieve weging
| Criterium | Gem 2.0 hybride |
|---|---|
| JUISTHEID | 9,71 |
| - Feiten kloppen met de bron ×7 | 9,97 |
| - Geen ongefundeerde beloftes ×7 | 9,88 |
| - Laat geen belangrijke informatie uit de bron weg ×7 | 9,6 |
| - Beantwoordt de gestelde vraag ×7 | 9,65 |
| - Geen aannames over situatie vraagsteller ×7 | 9,69 |
| BEHULPZAAMHEID | 9,49 |
| TRACEERBAARHEID | 9,48 |
| EENVOUD | 9,17 |
| SPELLING EN GRAMMATICA ×5 | 9,87 |
| TOON EN AANSPREEKVORM ×5 | 8,91 |
| Gewogen totaal | 9,52 |
| Aantal beoordeeld (n) | 149 |
Scorebanden (0-10): ≥9 goed · ≥8 ruim · ≥7 voldoende · ≥6 matig · <6 onvoldoende.
Waar we in deze meting op letten
- Juistheid. Klopt het antwoord feitelijk? Elke bewering is los getoetst aan de pagina's die Gem zelf ophaalde. Een doorverwijzing telt niet als bewering.
- Behulpzaamheid. Helpt het de inwoner echt verder? Ook als Gem het antwoord niet weet: biedt het antwoord dan een bruikbare volgende stap?
- Eenvoud. Is het kort en begrijpelijk?
- Spelling & grammatica. Is het foutloos geschreven?
- Toon. Past de toon bij een gemeente? Spreekt Gem de inwoner aan met "je"?
- Traceerbaarheid. Verwijst het antwoord naar een controleerbare bron? Komt de link uit de bron, en past die bij de vraag?
Wat we deze ronde leerden
1. Waar omissies in de webcontent zijn
Gem kan vragen over 'hoe of waar vraag ik het aan' goed beantwoorden, omdat deze informatie goed in de webcontent aanwezig is. Informatie over bezwaar en doorlooptijden is minder vaak aanwezig. Dit levert duidelijke aanknopingspunten op voor verbetering van de webcontent.
| Soort vraag | Vragen | Volledig beantwoord | Deels beantwoord | Alleen een verwijzing |
|---|---|---|---|---|
| Waar vraag ik het aan | 32 | 91% | 6% | 3% |
| Wat kost het | 9 | 56% | 33% | 11% |
| Ik ben het er niet mee eens | 12 | 42% | 58% | 0% |
| Hoe lang duurt het | 23 | 26% | 52% | 22% |
2. Verwijzen met duidelijke contactinformatie is behulpzaam
Bij vragen die Gem deels kan beantwoorden, volgt meestal concrete contactinformatie. Bij vragen die Gem helemaal niet kan beantwoorden, omdat Gem geen informatie heeft gevonden, volgt meestal een vage verwijzing naar 'de gemeente'. Zie de voorbeelden verderop in deze rapportage.
3. Algemene kennis in plaats van broninformatie
In 3 van de 149 antwoorden stond iets wat niet in de opgehaalde bron stond. Gem gebruikte in 1 geval algemene kennis uit het taalmodel. Dat is verboden, omdat het verkeerde of verouderde informatie kan zijn. Zie het voorbeeld verderop in deze rapportage. In 1 antwoord gaf Gem het telefoonnummer 14 030. Dat klopt op zich, maar het stond niet in de bron. In 1 geval noemde Gem 'de burgemeester' waar de bron 'de gemeente' zegt. De inwoner vroeg specifiek naar de burgemeester en Gem nam dat over in het antwoord.
4. 'U' in plaats van 'je'
In 22 van de 149 antwoorden sprak Gem de inwoner met 'u' aan, en volgde daarmee de aanspreekvorm van de website in plaats van de aanspreekvorm uit zijn instructies.
Belangrijkste verbeterpunten
Voor het meetsysteem
- Een doorverwijzing niet als inhoudelijk antwoord beoordelen. "Een antwoord als 'Neem contact op met...' is geen inhoudelijk antwoord en moet als doorverwijzing beoordeeld worden.
Voor Gem
- Geef contactgegevens als het antwoord ontbreekt. Een nummer of loket in plaats van "neem contact op met de gemeente".
- Antwoord alleen uit de bron. Antwoorden uit eigen kennis van het taalmodel is verboden.
Voor de website
- Noem bezwaarmogelijkheden, termijnen en kosten - Zorg dat deze informatie over sociale regelingen ook op de website staat zodat Gem het kan vinden.
Voorbeelden uit het examen
✔️ Juistheid
"Ik slaap vannacht op straat in de kou. waar is opvangplek waar ik kan slapen vanavond?"
"[…] De Stadsbrug. Je kunt je hiervoor melden bij de Koningin Wilhelminalaan 6 voor 22.00 uur. […] De bus vertrekt bij het skatepark op het Jaarbeursplein tussen 17.30 en 21.30 uur. […]"
✔️ Alle feiten uit het antwoord kloppen met de bron.
❌ Juistheid
"Help alstublieft er staat deurwaarder brief dat ze morgen spullen weghalen voor belasting! ik heb geen geld wat moet ik nu doen?"
"[…] Omdat de Belastingdienst een overheidsorganisatie is, kunnen zij ook beslag laten leggen zonder dat er eerst een rechter aan te pas komt. […]"
❌ Niet verzonnen, maar wel beantwoord uit algemene (belastingdienst-)kennis van het taalmodel.
✔️ Behulpzaamheid
"Er dreigt een acute woningontruiming over 48 uur wegens huurachterstand. Kan de schuldhulpverlener met spoed een gerechtelijk moratorium aanvragen?"
"Ik heb geen informatie gevonden over een gerechtelijk moratorium. Als je dreigt je huis uit te moeten, kun je wel direct contact opnemen met Werk en Inkomen van de gemeente via het telefoonnummer 14 030."
✔️ Gem zegt wat ontbreekt en noemt een afdeling en een nummer. De inwoner kan meteen bellen.
❌ Behulpzaamheid
"De verhuurder heeft een ontruimingsvonnis voor komende dinsdag wegens huurschuld. Kan de gemeente direct een noodmoratorium aanvragen bij de rechtbank?"
"Ik heb helaas geen informatie gevonden over de vraag of de gemeente een noodmoratorium kan aanvragen bij de rechtbank. Voor hulp bij problemen met je verhuurder kun je contact opnemen met de gemeente."
❌ Geen telefoonummer of andere contactgegevens.