De auditvraag waarop mensen zich voorbereiden is ‘wat deed het systeem’. De vraag die projecten echt stopt is ‘hoe was het systeem ingesteld op de dag in kwestie, en wat is er sindsdien veranderd’. Zonder configuratiehistorie heeft die vraag helemaal geen antwoord, en een controle die je niet kunt reconstrueren, is een controle die je niet kunt onderbouwen. Dit is een doorloop van de vier eigenschappen die een AI-systeem controleerbaar maken, geschreven voor de engineer die ze moet bouwen in plaats van voor de reviewer die er straks om vraagt.
Let op de reikwijdte: dit is technische richtlijn over controles, geen juridisch advies en geen uitspraak over wat een regel vereist. NeuralSeek beschikt over SOC 1- en SOC 2 Type II-rapporten en is HIPAA-conform. Je juridisch adviseur, toezichthouders en interne audit bepalen wat voor jouw organisatie geldt.
Waarom dit het hele gesprek is
In een gereguleerd bedrijf wordt een AI-systeem dat aan boeken, administratie of klantcontact raakt niet eerst op capaciteit beoordeeld. Het wordt beoordeeld op de vraag of het een volledig, betrouwbaar verslag oplevert van wat er gebeurde: wie wat deed, wanneer, onder welke configuratie, en of dat verslag snel kan worden overhandigd en standhoudt tegenover iemand die niets aanneemt.
Dat is een beheersbaar technisch probleem, en het valt uiteen in vier eigenschappen. Geen ervan is exotisch. Wat ze lastig maakt, is dat ze vanaf het begin aanwezig moeten zijn. Een audittrail kun je niet achteraf aan het verleden toevoegen.
Eén: een duurzame registratie van elke interactie
Twee aanvullende logs, plus controle over waar ze staan. Een manipulatiebestendige registratie voor de hele organisatie van elke interactie levert het verslag. Een registratie van de prompts zelf levert de reconstructie: als later een bepaald antwoord ter discussie staat, kun je precies laten zien wat er werd gevraagd en met welk materiaal het systeem werkte.
Het onderdeel dat teams te weinig plannen is de opslag. Bewaarplichten voor gereguleerde administratie zijn meestal langer dan ieders standaard logbewaring en vragen vaak om een specifieke vorm van duurzaamheid. Dat je deze registraties kunt doorsturen naar de backend die je bedrijf al voor gereguleerde administratie gebruikt, in plaats van naar wat de toepassing standaard kiest, maakt de controle echt in plaats van nominaal.
Twee: een historie van elke instellingswijziging
Dit is de eigenschap die de meeste AI-systemen missen en die een review het vaakst in een project verandert. Als de drempels voor het ophalen, het guardrailbeleid of de modeltoewijzingen op enig moment zijn gewijzigd en niemand kan zeggen wanneer of waarnaartoe, dan is elk antwoord van vóór die wijziging niet te verklaren.
Wat nodig is, is een log met tijdstempel van elke instellingswijziging, zodat je kunt zien wat er wanneer veranderde en het kunt terugdraaien. Zo wordt een wijziging in een controle van een ongevolgde aanpassing een gebeurtenis die je kunt beoordelen, en dat is wat een controleraamwerk vraagt.
Drie: herleidbaarheid, zonder inloggegevens te lekken
Een trail die niet aan een identiteit te koppelen is, faalt de audit aan de ene kant; een trail die geheimen lekt, faalt hem aan de andere kant, en duurder. Elke vastgelegde interactie moet aan een bekend toegangspad en een bekende identiteit hangen in plaats van aan een anonieme aanroep. Dat is een ontwerpkeuze over hoe het systeem wordt aangeboden, en niet iets wat je later kunt toevoegen.
Tegelijk moeten sleutels en verbindingsgeheimen buiten prompts, buiten antwoorden en buiten de logs zelf blijven. De registratie die je als bewijs levert, is een document dat wordt gekopieerd, gemaild en bewaard door mensen buiten je team. Het mag geen plek zijn waar inloggegevens te vinden zijn.
Vier: bewijs dat je exporteert in plaats van samenstelt
De laatste eigenschap is of de trail kan worden omgezet in iets wat een reviewer accepteert zonder vertaallaag. In de praktijk betekent dat elke controle koppelen aan de eis waaraan ze voldoet, in het formaat dat je reviewers al gebruiken, zodat het antwoord op een verzoek om een doorloop een document is in plaats van een onderzoek.
De test is eenvoudig en de moeite waard voor alles wat je evalueert: als het verzoek binnenkomt, is het opleveren van het bewijs dan een export, of een noodsituatie?
Eén keer configureren, of eeuwig samenstellen
Het verschil tussen een AI-initiatief dat in een gereguleerd bedrijf live gaat en een dat vastloopt, is zelden het model. Het is of de audittrail een product van de configuratie is of iets wat elke keer onder druk wordt gereconstrueerd als iemand erom vraagt.
Alle vier de eigenschappen hierboven zijn instellingen in NeuralSeek in plaats van componenten die je moet integreren, en ze gelden voor elke workflow die op de implementatie is gebouwd, niet alleen voor die waarvan de makers eraan dachten. Je krijgt ze standaard, in plaats van ze voor elke workflow opnieuw te bouwen.