Welk taalmodel gebruikt Gem?
Gem gebruikt generatieve AI om vragen te herkennen en, indien nodig, antwoorden te genereren. Welk taalmodel gebruikt Gem eigenlijk? En wat gebeurt er met de vragen en gegevens die via Gem uitgewisseld worden?
Maak kennis met Gemma
Gem gebruikt momenteel Gemma. Gemma is een taalmodel dat je zelf kunt downloaden en gebruiken. Het Gem-team heeft veel verschillende taalmodellen getest. Daar kwam Gemma als beste uit. Gemma wordt gehost op eigen servers van de overheid in Nederland.
Waarom een taalmodel zelf hosten?
Er zijn veel taalmodellen beschikbaar die gedownload en als 'software' geïnstalleerd kunnen worden op een computer of server. Ze werken dan als zelfstandig pakket en er is geen internetverbinding nodig om het te kunnen gebruiken. Een beetje zoals Word of Excel: je kunt het online gebruiken (in de cloud) of zelf op je computer installeren.
Zo ziet het verschil tussen zelfgehost en cloud hosting eruit:
Wat zijn de voordelen en nadelen?
| Cloud taalmodel | Zelf gehost taalmodel | |
|---|---|---|
| Privacy | Data komt bij cloudprovider terecht | Data blijft op eigen servers |
| Kwaliteit | Meestal de slimste modellen | Minder sterk, maar verbeteren snel |
| Kosten | Betalen per gebruik, kosten onvoorspelbaar | Hoge eenmalige investering hardware, daarna lagere kosten voor gebruik, afschrijving en onderhoud |
| Beheer | Cloud-leverancier doet alles | Eigen IT-kennis nodig |
| Afhanke-lijkheid | Cloud-leverancier kan prijs, voorwaarden of model wijzigen | Zelf bepalen wat er draait en hoe lang |
| Imago | Als overheid dwing je inwoners om buitenlandse producten te gebruiken | Als overheid bedien je je inwoners binnen een omgeving van de overheid |
Gemma is Amerikaans. We willen toch minder afhankelijk zijn van buitenlandse tech?
Gemma is gemaakt door Google, en is daarmee Amerikaans. Maar omdat het model volledig zelfstandig op Nederlandse servers draait en geen enkel lijntje met Amerikaanse servers heeft, is het niet kwetsbaar voor bijvoorbeeld afsluiting door de Amerikaanse provider.
Ook gaan er géén data naar Amerikaanse servers. De Nederlandse servers (AI cluster) waarop Gemma draait is beveiligd en heeft alléén een verbinding met de Nederlandse diensten die ze gebruiken, zoals Gem, die gehost worden bij de rijksoverheid.
Autonomie gaat over wie de knoppen bedient. Een cloud-leverancier kan op elk moment:
- de voorwaarden veranderen;
- de prijs verhogen;
- het model vervangen door een nieuwer (of ander) model;
- functies uitschakelen;
- de dienst stopzetten of de toegang beperken;
- gegevens over de gesprekken bewaren zonder dat ze verplicht zijn om dit te melden.
Dit is extra problematisch wanneer je voor je dienstverlening al afhankelijk bent van de cloud-leverancier.
Met een zelf gehost model heb je het bestand in bezit. Het model van vandaag werkt over tien jaar nog precies hetzelfde. Je kunt het aanpassen aan je eigen taal, woordgebruik en regels, en je bent niet afhankelijk van beslissingen in een andere jurisdictie. Het taalmodel van Gem wordt gehost onder controle van de rijksoverheid, met extra aandacht voor compliance en verantwoorde inzet van AI.
Wat betekent dit voor duurzaamheid en energieverbruik?
Een taalmodel kost stroom en water, waar het ook draait. Het verschil zit in hoeveel en waar het gebruikt wordt.
Hoe meer rekenwerk, hoe meer stroom. En hoe meer stroom, hoe meer water het datacenter nodig heeft om te koelen. Gemma 4 (26B) heeft ongeveer half zo veel rekenwerk nodig als Gemma 4 (31B). Grote cloud-modellen hebben veel meer rekenwerk nodig, maar hoeveel precies is niet bekend. De rode balk is daarom een schatting.
Wat betekent dit voor de kosten?
Een taalmodel zelf hosten zorgt voor de nodige investeringen vooraf. De servers moeten ingericht en beheerd worden. Bij een cloud-taalmodel kun je direct, zonder investeringen, starten.
De kosten voor het gebruik van het taalmodel maken het verschil, zeker als het gebruik toeneemt. Cloud-leveranciers hanteren commerciële tarieven per gebruik. Bij een zelf-gehost taalmodel heb je zelf controle over de kosten. Die stijgen minder snel, doordat het vooral gaat om extra stroom, water, beheer en incidentele hardware-uitbreidingen.
Met eigen servers bepaal je bovendien zelf hoe de beschikbare AI-capaciteit wordt verdeeld. Bijvoorbeeld welke vragen van inwoners voorrang krijgen en hoeveel capaciteit elke gemeente krijgt. Dat maakt de dienstverlening voorspelbaar en de kosten vooraf bekend. Bij een cloudleverancier deel je de capaciteit vaak met alle andere klanten en bepaalt de leverancier de limieten en de prijs.
Is Gemma open source?
Gemma is een open weights model, zoals de meeste taalmodellen die je zelf kunt hosten. Gemma is uitgebracht onder een open source licentie, maar strikt genomen is het niet volledig open source. In deze tabel zie je het verschil:
| Cloud model | Open weights | Open source | |
|---|---|---|---|
| Wat mag je? | Bv. GPT, Claude | Bv. Mistral, Gemma | Bv. OLMo |
| - gebruiken | ✓ | ✓ | ✓ |
| - downloaden | ✗ | ✓ | ✓ |
| - onder motorkap kijken | ✗ | ✓ | ✓ |
| - aanpassen | ✗ | ✓ | ✓ |
| - zelf hosten | ✗ | ✓ | ✓ |
| - trainingsdata en broncode bekijken | ✗ | ✗ | ✓ |
De licentie van Gemma 4 staat herdistributie, commercieel gebruik, aanpassing en fine-tunes van de gewichten toe. Er zijn geen limieten op het aantal gebruikers en geen apart beleid voor acceptabel gebruik meer. Dit is anders dan bij eerdere Gemma-versies. Er is echter geen inzicht in de trainingsdata. Op termijn willen we naar een model dat daar wél open over is.
Blijft Gem altijd Gemma gebruiken?
Er komen regelmatig nieuwe modellen beschikbaar, bijvoorbeeld van Mistral. Als Gem-team blijven we regelmatig testen of Gemma 4 nog steeds de beste is, of dat er inmiddels een ander taalmodel beter scoort. Of dat er een model is dat even goed scoort, maar dat wél transparant is over de trainingsdata. Ook heeft Gem de flexibiliteit om voor specifieke taken verschillende taalmodellen in te schakelen als dat nodig is. Gem gebruikt nu dus Gemma, maar zou in de toekomst andere zelf gehoste modellen kunnen gebruiken.