Meetbaarheid van de antwoordkwaliteit
In de vorige nieuwsbrief las je over Grip op Antwoordkwaliteit en het gebruik van examens voor de beoordeling van generatieve AI. Maar hierbij ontstaan al snel de vragen: Wat meet je precies zodat je weet wat de kwaliteit is? En hoe kijk je de examens na?
Daarover lees je meer in deze nieuwsbrief.
'En route' naar meer meetbare kwaliteit
Om grip te houden op antwoordkwaliteit van Gem kijken we niet naar één aspect, maar naar een samenhangend geheel van criteria. We kijken naar wat er wél in de antwoorden moet staan, maar ook wat juist niet moet voorkomen. Denk bijvoorbeeld aan de criteria:
- Compleetheid – Bevat het antwoord alle elementen, en ook in de juiste volgorde?
- Traceerbaarheid – Zijn er werkende hyperlinks naar betrouwbare bronnen?
- Zakelijkheid – Is de toon professioneel en behulpzaam?
- Bruikbaarheid – Kun je er direct mee aan de slag?
- Compactheid – Staat er geen overbodige informatie in?
- Begrijpelijkheid – Is het taalgebruik helder en niet onnodig ingewikkeld?
- Correctheid – Kloppen de spelling en grammatica?
- Veiligheid – Bevat het geen ongewenste of risicovolle inhoud?
Slim combineren: mens én techniek
Dit allemaal controleren doen we veelal handmatig. En we benutten ook de meldingen van inwoners en kritische onderzoekers over de antwoorden. Maar al deze controles kosten vrij veel tijd. Daarom automatiseren we steeds meer controles. Zo maken we de kwaliteit schaalbaar én consistent.
In de volgende nieuwsbrief lees je hoe de automatisering past in een continu verbeterproces, en hoe we de lat steeds hoger leggen voor meetbare antwoordkwaliteit.