Een klein model is vaak genoeg, als er een judge naast staat

Voor korte antwoorden uit een kennisbank is een frontier-model overkill. Het is duurder, trager en niet aantoonbaar beter. Bij Samen Zoetermeer Gezond kozen we daarom bewust voor een klein taalmodel. Met één voorwaarde: er staat een judge naast.

Wat de judge doet

Een tweede model toetst elk antwoord op betrouwbaarheid: klopt het met de bron, is het volledig, en zegt het niets wat er niet staat. In een zorgcontext is dat geen luxe. Een verkeerd advies over mantelzorg of de sociale kaart heeft gevolgen voor echte mensen.

De judge is ook onze testset. Elke wijziging in de kennisbank of in de prompts loopt door dezelfde controle. Zo weten we wat er verandert voordat een gebruiker het merkt.

Klein waar het kan, groot waar het moet

Per taak kiezen we het model. Zoeken en samenvatten: klein. Een complexe afweging met veel context: groter. Dat scheelt in kosten, in snelheid en in afhankelijkheid van één leverancier.

Portabel vanaf dag één

De demo van de coalitie draaide op één laptop bij één persoon. De productieversie staat als infra-as-code klaar: Terraform en Kubernetes, met één druk op de knop van onze sandbox naar de tenant van de klant. Of naar een andere partij, als de coalitie dat ooit wil.

Een demo gaat buiten de happy path anders mis. Daarom vroeg ik zelf om een tester erbij.

Dat is misschien de belangrijkste les. AI bouwen is software bouwen. Dezelfde discipline, dezelfde tests, dezelfde eerlijkheid over wat nog niet werkt.