Wanneer geeft Gem écht een goed antwoord?
Bij Gem kijken we niet alleen naar belangrijke onderwerpen als toegankelijkheid en privacy, maar ook naar de inhoudelijke kwaliteit van de antwoorden. Want wanneer geeft Gem eigenlijk een goed antwoord? We laten in dit artikel zien hoe we de kwaliteit van antwoorden meten, welke criteria we daarvoor gebruiken, en hoe je meer informatie vindt over de antwoordkwaliteit van Gem.
AI gegenereerde afbeelding
Een goed antwoord moet je kunnen onderbouwen.
Daarom testen we Gem met echte inwonersvragen en beoordelen we de antwoorden aan de hand van verschillende kwaliteitscriteria.
Natuurlijk kijken we naar juistheid: klopt de informatie en doet Gem geen verkeerde aannames? Maar een correct antwoord is nog niet automatisch een goed antwoord. Daarom meten we ook behulpzaamheid: kan een inwoner daadwerkelijk verder met het antwoord? Daarnaast kijken we naar eenvoud, spelling en grammatica en toon. Een goed antwoord moet begrijpelijk en bondig zijn, foutloos geschreven én passen bij de manier waarop een gemeente met inwoners communiceert.
Ook traceerbaarheid en veiligheid horen bij onze meetlat. Kan een inwoner controleren waar informatie vandaan komt? En reageert Gem veilig wanneer een vraag daarom vraagt?
Voor een groot deel van deze controles gebruiken we inmiddels een taalmodel als beoordelaar. AI die AI beoordeelt dus. Daarbij blijft de menselijke blik belangrijk: de beoordelingen worden gekalibreerd met menselijke oordelen en we onderzoeken ook andere meetmethoden.
Zo kunnen we verschillende versies en taalmodellen steeds beter met elkaar vergelijken. Want ook bij generatieve AI geldt: we zetten het alleen in als het de antwoorden aantoonbaar verbetert.
Vragen?
Heb je vragen over de antwoordkwaliteit van Gem of andere Gem-gerelateerde thema's? Dan komen we graag met je in contact. Vraag een gesprek aan