Hoe meten we antwoordkwaliteit?
Gem is de digitale assistent van meer dan 25 gemeenten. Gem geeft dag en nacht antwoord op de meest gestelde vragen van inwoners. Gem 2.0 geeft niet alleen vooraf geschreven antwoorden, maar kan bij minder vaak gestelde vragen ook antwoorden genereren uit gemeentebronnen zoals webpagina's.
De gemeentelijke dienstverlening is ontzettend breed, én vaak ook zeer specifiek. Voor een correcte beantwoording wegen nuances vaak zwaar; ze kunnen het verschil maken tussen een goed en een fout antwoord; tussen een inwoner die met de juiste documenten aan de balie staat, en een inwoner die onverrichter zake terug naar huis moet.
Juist bij genereren willen die nuances nog wel eens verloren gaan. Hoe bewaak je dan dat Gem correct antwoord geeft? En niet alleen nu, maar ook volgende week en volgend jaar?
Continu verbeteren
Een middagje testen met collega's levert interessante bevindingen op, maar volstaat niet om écht blijvend betrouwbare uitspraken te kunnen doen over de antwoordkwaliteit, over de breedte van de dienstverlening én door de tijd heen.
Om breed en continu te kunnen meten en verbeteren heb je examens nodig die:
- gevarieerd zijn over de breedte van de gemeentelijke dienstverlening en de verschillende soorten vragen die inwoners stellen
- schaalbaar zijn: eenvoudig uitbreidbaar naar meer vragen, meer gemeenten, meer succescriteria
- herhaalbaar zijn: alleen door herhaling van dezelfde examenvragen kun je vooruitgang en achteruitgang betrouwbaar in beeld brengen
Examens kunnen tientallen tot honderden vragen bevatten. Van paspoortaanvraag tot last van de buren; van verhuizing doorgeven tot hulp bij dakloosheid.
Deze examens worden periodiek afgenomen, bijvoorbeeld wekelijks en vóórdat een nieuwe versie live gaat. Elke examenuitslag levert verbeterpunten op voor Gem én voor de examens zelf.
Wat verwachten we in het antwoord?
Afhankelijk van de situatie verwachten we verschillend gedrag van Gem en hanteren we andere beoordelingscriteria. Daarom hebben we examens in verschillende categorieën:
Vaak gestelde vragen: op de komma nauwkeurig
Voor de meest gestelde vragen ligt de lat het hoogst. Een goede beantwoording heeft immers grote impact op de dagelijkse dienstverlening. Het kan gaan om complexe vragen zoals 'hoe vraag ik met spoed een paspoort aan voor mijn kind' en 'hoe schrijf ik mijn ex uit', maar ook om eenvoudige vragen zoals 'wat kost een rijbewijs' en 'zijn jullie morgen open'. Met Gem 1.0 hebben we veel inzicht gekregen in welke vragen het vaakst gesteld worden. Bovendien weten we exact waar een correct antwoord aan moet voldoen, dankzij een wekelijks overleg met inhoudelijk specialisten van de deelnemende gemeenten. Hun inzichten worden verwerkt in de antwoorden van Gem 1.0 én in de criteria waarmee Gem 2.0 wordt beoordeeld.
Bijvoorbeeld de vraag 'Ik wil mijn ex uitschrijven'. Een goed antwoord legt uit dat je een ander niet kunt uitschrijven en beschrijft de juiste route in drie stappen: eerst controleren wie er op je adres ingeschreven staat, met een link naar mijnoverheid.nl; dan de vertrokken persoon zélf de verhuizing laten doorgeven; en pas als dat niet lukt een adresonderzoek aanvragen. Elk onderdeel is een apart criterium met een eigen score.
Voor de meest gestelde vragen werken we op deze manier gedetailleerde tests uit. Want hoe specifieker de criteria, hoe betrouwbaarder het geautomatiseerde oordeel.
Minder vaak gestelde vragen: trouw aan de bron
Naast de vaak gestelde vragen zijn er veel vragen (de 'long tail') die maar af en toe voorbijkomen, zoals 'ik wil me aanmelden voor het burgerberaad' en 'ik wil mijn collega voordragen voor een onderscheiding'. Voor deze vragen bestaat geen vooraf geschreven antwoord: Gem 2.0 genereert het antwoord uit gemeentebronnen zoals webpagina's.
Bij zoveel verschillende vragen is het niet haalbaar om per vraag gedetailleerde criteria op te stellen. Bovendien brengt genereren een specifiek risico mee: hallucinatie. Een antwoord kan vloeiend en overtuigend klinken en tóch niet kloppen.
Voor deze vragen toetsen we daarom of het antwoord klopt met de informatie in de bron. Elke bewering in het antwoord wordt gecontroleerd: staat het ook precies zo in de bron? Dit werkt dus als een 'hallucinatie-check'.
Gevoelige vragen
Bij gevoelige vragen zoals een stilgeboorte of overlijdensaangifte toetsen we net zo gedetailleerd als bij vaak gestelde vragen. Daarnaast toetsen we extra op toonzetting: kort en gepast medeleven, gevolgd door vriendelijk en zakelijk helpen.
Vragen om niet inhoudelijk te beantwoorden
Niet alle vragen moeten inhoudelijk beantwoord worden. Soms is een doorvraag, verwijzing of beleefde weigering de juiste reactie:
- Bij problemen verwijzen naar een medewerker
- Bij ongepaste vragen beleefd weigeren
- Doorvragen als de vraag van de inwoner niet gedetailleerd genoeg is
- Verwijzen naar andere instanties als een vraag niet bij de gemeente thuis hoort
Ook voor deze categorieën worden aparte examens gemaakt met specifieke criteria die het gewenste gedrag meten.
Gericht meten is gericht verbeteren
Zonder deze categorieën zouden we alleen een gemiddeld cijfer zien, zonder precies te zien waar de verbeterpunten liggen. Door op verwacht gedrag te toetsen kunnen we snel en gericht bijsturen als het gedrag niet naar wens is.
Hoe rapportcijfers berekend worden
Bij het beoordelen maken we een aantal bewuste keuzes:
De automatische beoordelaars
Alle antwoorden worden standaard door twee geautomatiseerde beoordelaars van rapportcijfers voorzien:
- een AI-beoordelaar - deze kijkt naar de semantiek en betekenis van het antwoord. Goed in het herkennen van betekenis, maar soms te gemakkelijk met details.
- een geautomatiseerde check (algoritme) - deze controleert op patronen van woorden en hyperlinks. Zeer nauwkeurig, maar herkent een andere manier van formuleren soms niet goed.
De inhoudsdeskundige beoordelaars
Een inhoudsdeskundige kijken steekproefsgewijs mee met de beoordelingen om de kwaliteit van de beoordelaars te controleren en waar nodig aan te scherpen.
De rapportcijfers
Per gegeven antwoord hanteren we een scoreladder, met oplopende cijfers voor verschillende onderdelen van het antwoord.
De zwaarte van fouten telt mee: een essentieel document niet noemen is erger dan een link naar meer informatie niet noemen. Individuele criteria worden met hun eigen gewicht meegewogen in het eindcijfer. Ook zijn er onvergeeflijke (kritieke) fouten. Eén woord kan een heel antwoord verkeerd maken, bijvoorbeeld 'het mag' versus 'het mag niet'. Hoe goed de andere onderdelen dan ook zijn: het antwoord krijgt bij kritieke fouten nooit een voldoende.
Naast inhoudelijke criteria zoals juistheid beoordelen we ook op meer algemene criteria zoals eenvoud, spelling, toon en behulpzaamheid. Bekijk alle criteria waarmee we antwoordkwaliteit meten.