Grip op antwoordkwaliteit
Twee weken terug las je in deze nieuwsbrief over het belang van digitale toegankelijkheid voor chatbots. Dat is een wettelijke verplichting. Het zegt ook iets over de kwaliteit van de chatbot. Toegankelijkheid gaat over de bediening van chatbots. In deze nieuwsbrief lees je over een ánder belangrijk aspect van de kwaliteit van een chatbot: De kwaliteit van de antwoorden die je krijgt.
Hoe borg je dat een inwoner altijd een antwoord krijgt dat niet alleen correct is maar ook compact en praktisch bruikbaar?
Dagelijks beantwoorden gemeenten vragen met Gem. Klantcontact- en webteams volgen dit en verbeteren waar nodig de logica en antwoorden. Met extra aandacht voor de meest gestelde vragen.
Na 6 jaar is er veel ervaring opgebouwd. De database telt inmiddels bijna 4.000 vragen en antwoorden. Herkende vragen krijgen betrouwbaar het juiste antwoord. Voor niet-herkende of nieuwe vragen staat snel een medewerker klaar. Zo blijft de service op niveau.
Inzet van generatieve AI — AI doet examen — Degelijkheid staat voorop
Er is ook kritiek op chatbots, als er vragen komen waar de chatbot geen goed antwoord op weet. We werken daarom aan inzet van generatieve AI in Gem om dat te verbeteren.
Die inzet blijft wel een zorgvuldige afweging: We gebruiken het alleen als het de antwoorden aantoonbaar verbetert. We testen meerdere alternatieven naast elkaar, waaronder GPT-NL, en vergelijken de kwaliteitsverschillen. Dat doen we met behulp van praktijkgerichte 'examens', met vooraf geselecteerde vragen en bijbehorende goede antwoorden. En dan kijken we welk model het hoogste cijfer heeft!
Grip houden op kwaliteit
Hóe meet je kwaliteit precies? Op basis van welke kwaliteitscriteria geef je cijfers? Daarover meer in de volgende nieuwsbrief.