Wanneer geeft Gem écht een goed antwoord?
In dit artikel duiken we in een belangrijke vraag: Wanneer geeft Gem eigenlijk een goed antwoord? We laten zien hoe we de kwaliteit van antwoorden meten, welke criteria we daarvoor gebruiken, en hoe je nog meer informatie kan vinden over alles wat we doen voor een betere antwoordkwaliteit van Gem.
Een goed antwoord moet je kunnen onderbouwen.
Daarom testen we Gem met echte inwonersvragen en beoordelen we de antwoorden aan de hand van verschillende kwaliteitscriteria.
Natuurlijk kijken we naar juistheid: klopt de informatie en doet Gem geen verkeerde aannames? Maar een correct antwoord is nog niet automatisch een goed antwoord. Daarom meten we ook behulpzaamheid: kan een inwoner daadwerkelijk verder met het antwoord? Daarnaast kijken we naar eenvoud, spelling en grammatica en toon. Een goed antwoord moet begrijpelijk en bondig zijn, foutloos geschreven én passen bij de manier waarop een gemeente met inwoners communiceert.
Ook traceerbaarheid en veiligheid horen bij onze meetlat. Kan een inwoner controleren waar informatie vandaan komt? En reageert Gem veilig wanneer een vraag daarom vraagt?
Voor een groot deel van deze controles gebruiken we inmiddels een taalmodel als beoordelaar. AI die AI beoordeelt dus. Daarbij blijft de menselijke blik belangrijk: de beoordelingen worden gekalibreerd met menselijke oordelen en we onderzoeken ook andere meetmethoden.
Zo kunnen we verschillende versies en taalmodellen steeds beter met elkaar vergelijken. Want ook bij generatieve AI geldt: we zetten het alleen in als het de antwoorden aantoonbaar verbetert.
Vragen?
Heb je vragen over de antwoordkwaliteit van Gem of andere Gem-gerelateerde thema's? Dan komen we graag met je in gesprek. Je kunt hier een gesprek aanvragen.