Bepalen wat je AI leest

De eerste beslissing beperkt elke volgende

Wanneer een vraag binnenkomt, geeft de kennisbank een gerangschikte lijst met kandidaten terug. Alles daarna (herrangschikken, antwoorden baseren op bronnen, betrouwbaarheidsscores, het antwoord zelf) werkt alleen op wat die eerste ronde toeliet. Laat je ruis door, dan besteedt elke volgende controle moeite aan het compenseren daarvan. Laat je een schone, actuele set met veel signaal toe, dan wordt de hele pijplijn scherper, sneller en goedkoper tegelijk.

Er is een tweede reden om erom te geven: wie beslist. Met de vier groepen controles hieronder kan iemand die het domein begrijpt een zakelijk oordeel (hoe voorzichtig, hoe actueel, hoe beknopt) als expliciete instelling vastleggen, in plaats van dat het terloops in applicatielogica wordt gecodeerd door wie de zoekaanroep schreef.

Relevantiebanden: wat komt er sowieso voor in aanmerking

De eerste knop is de band van matchscores waarin een document moet vallen om mee te tellen. Zet je de ondergrens te laag, dan sluipt losjes verwant materiaal binnen, waar het model een zwakke match getrouw oprekt tot een overtuigend klinkende bewering. Zet je hem verstandig, dan redeneert het systeem alleen over bronnen die echt iets met de vraag te maken hebben.

De bovengrens is minder vanzelfsprekend en belangrijker dan hij lijkt. Standaardkoppen, navigatieteksten en bijna-dubbele fragmenten matchen mechanisch en kunnen een resultatenset domineren zonder iets toe te voegen. Door de ruwe score te begrenzen voorkom je dat ze de passage verdringen die de vraag echt beantwoordt.

Een smallere band verhoogt de precisie en verlaagt de dekking; een bredere doet het omgekeerde. Er is geen juiste instelling, alleen een afweging, en het doel van het zichtbaar maken ervan is dat je die bewust maakt in plaats van over te nemen.

Versheid: voorkeur voor wat actueel is

Kennisbanken stapelen geschiedenis op. De prijzen van vorig jaar, een vervangen beleid, een verouderde specificatie: het staat er allemaal nog en het matcht allemaal nog. Een zoekfunctie die elke versie even geldig vindt, is hoe een assistent uiteindelijk perfect nauwkeurig is over een wereld die niet meer bestaat. Het is de meest overtuigende foutvorm die er is, omdat niets aan het antwoord fout lijkt.

Door recentheid in de zoekscore te verwerken, stijgen nieuwere bronnen en zakken verouderde weg, zonder dat iemand de documenten met de hand hoeft op te schonen. Hoe sterk de afname moet zijn, hangt helemaal van het materiaal af: zacht voor referentiedocumentatie die langzaam veroudert, steil voor prijzen en releasenotes, waar alles van vorig kwartaal actief misleidt.

Documentlimieten: meer context is geen betere context

Meer documenten in één aanroep duwen verslechtert drie dingen tegelijk. De verhouding tussen signaal en ruis stort in en het model verliest de draad. De latentie loopt op. En de kosten groeien met elk extra token, bij elk verzoek, voor altijd.

Een harde bovengrens voor het aantal documenten dat het model bereikt, dwingt het systeem alleen de sterkste matches door te sturen. Samen met een hergebruiksvenster voor herhaalde vragen (dezelfde vraag twee keer hoeft niet twee keer te worden opgehaald) verminder je ruis en kosten tegelijk, waarbij de versheid van dat hergebruik door jou wordt bepaald in plaats van door de cache.

Fragmentgrootte: hoeveel van elke bron

Zelfs de juiste documenten hebben dood gewicht. De fragmentgrootte bepaalt hoeveel van elke bron wordt doorgegeven: lang genoeg om de passage die de vraag beantwoordt te bewaren, met de context die haar te begrijpen maakt, kort genoeg om het tokenbudget onder controle te houden.

Beide kanten op kan het misgaan. Te klein en je knipt de zin doormidden, zodat het model een fragment krijgt en het van elders aanvult. Te groot en de regel met het antwoord verdrinkt in de omringende tekst. Dit is de laatste precisieknop in de laag, en hij bepaalt niet welke bronnen winnen maar hoeveel van elke bron echt wordt gelezen.

Ze afstellen als één systeem

Het zijn geen onafhankelijke knoppen, en ze één voor één afstellen is hoe teams hun eigen wijzigingen achterna jagen. Relevantie bepaalt wat in aanmerking komt; versheid bepaalt welke van de kandidaten winnen; de documentlimiet bepaalt hoeveel er overblijven; de fragmentgrootte bepaalt hoeveel van elk wordt gelezen. Verander er één en de juiste instelling van de andere verschuift.

Samen afgesteld geven ze het model een context die relevant, actueel, gericht en beknopt is. Dat is de schoonste basis die een antwoord met bronnen kan hebben, en wat de kwaliteit van de uitvoer het betrouwbaarst verbetert zonder het model aan te raken.

Het andere voordeel is dat je het kunt aantonen. Doordat elk een expliciete instelling is, met elke wijziging gelogd, in plaats van logica in een applicatie, wordt ‘we denken dat ons ophalen goed is’ een uitspraak over precies wat het model mocht lezen, en waarom. Dat is een veel betere positie als iemand zes maanden later naar een specifiek antwoord vraagt.