Prompt injection: direct, indirect en hoe je beide indamt
Waarom het model dit niet alleen kan oplossen, hoe een aanval verstopt in een document eruitziet en hoe je die indamt.
Meer informatie over prompt injectionFinanciële dienstverlening · 4 min leestijd
Een AI-audittrail bouwen voor de financiële dienstverlening
De vraag die projecten stopt is niet wat het systeem deed, maar hoe het die dag was ingesteld. Vier eigenschappen maken dat beantwoordbaar.
De auditvraag waarop mensen zich voorbereiden is ‘wat deed het systeem’. De vraag die projecten echt stopt is ‘hoe was het systeem ingesteld op de dag in kwestie, en wat is er sindsdien veranderd’. Zonder configuratiehistorie heeft die vraag helemaal geen antwoord, en een controle die je niet kunt reconstrueren, is een controle die je niet kunt onderbouwen. Dit is een doorloop van de vier eigenschappen die een AI-systeem controleerbaar maken, geschreven voor de engineer die ze moet bouwen in plaats van voor de reviewer die er straks om vraagt.
Let op de reikwijdte: dit is technische richtlijn over controles, geen juridisch advies en geen uitspraak over wat een regel vereist. NeuralSeek beschikt over SOC 1- en SOC 2 Type II-rapporten en is HIPAA-conform. Je juridisch adviseur, toezichthouders en interne audit bepalen wat voor jouw organisatie geldt.
Waarom dit het hele gesprek is
In een gereguleerd bedrijf wordt een AI-systeem dat aan boeken, administratie of klantcontact raakt niet eerst op capaciteit beoordeeld. Het wordt beoordeeld op de vraag of het een volledig, betrouwbaar verslag oplevert van wat er gebeurde: wie wat deed, wanneer, onder welke configuratie, en of dat verslag snel kan worden overhandigd en standhoudt tegenover iemand die niets aanneemt.
Dat is een beheersbaar technisch probleem, en het valt uiteen in vier eigenschappen. Geen ervan is exotisch. Wat ze lastig maakt, is dat ze vanaf het begin aanwezig moeten zijn. Een audittrail kun je niet achteraf aan het verleden toevoegen.
Eén: een duurzame registratie van elke interactie
Twee aanvullende logs, plus controle over waar ze staan. Een manipulatiebestendige registratie voor de hele organisatie van elke interactie levert het verslag. Een registratie van de prompts zelf levert de reconstructie: als later een bepaald antwoord ter discussie staat, kun je precies laten zien wat er werd gevraagd en met welk materiaal het systeem werkte.
Het onderdeel dat teams te weinig plannen is de opslag. Bewaarplichten voor gereguleerde administratie zijn meestal langer dan ieders standaard logbewaring en vragen vaak om een specifieke vorm van duurzaamheid. Dat je deze registraties kunt doorsturen naar de backend die je bedrijf al voor gereguleerde administratie gebruikt, in plaats van naar wat de toepassing standaard kiest, maakt de controle echt in plaats van nominaal.
Twee: een historie van elke instellingswijziging
Dit is de eigenschap die de meeste AI-systemen missen en die een review het vaakst in een project verandert. Als de drempels voor het ophalen, het guardrailbeleid of de modeltoewijzingen op enig moment zijn gewijzigd en niemand kan zeggen wanneer of waarnaartoe, dan is elk antwoord van vóór die wijziging niet te verklaren.
Wat nodig is, is een log met tijdstempel van elke instellingswijziging, zodat je kunt zien wat er wanneer veranderde en het kunt terugdraaien. Zo wordt een wijziging in een controle van een ongevolgde aanpassing een gebeurtenis die je kunt beoordelen, en dat is wat een controleraamwerk vraagt.
Drie: herleidbaarheid, zonder inloggegevens te lekken
Een trail die niet aan een identiteit te koppelen is, faalt de audit aan de ene kant; een trail die geheimen lekt, faalt hem aan de andere kant, en duurder. Elke vastgelegde interactie moet aan een bekend toegangspad en een bekende identiteit hangen in plaats van aan een anonieme aanroep. Dat is een ontwerpkeuze over hoe het systeem wordt aangeboden, en niet iets wat je later kunt toevoegen.
Tegelijk moeten sleutels en verbindingsgeheimen buiten prompts, buiten antwoorden en buiten de logs zelf blijven. De registratie die je als bewijs levert, is een document dat wordt gekopieerd, gemaild en bewaard door mensen buiten je team. Het mag geen plek zijn waar inloggegevens te vinden zijn.
Vier: bewijs dat je exporteert in plaats van samenstelt
De laatste eigenschap is of de trail kan worden omgezet in iets wat een reviewer accepteert zonder vertaallaag. In de praktijk betekent dat elke controle koppelen aan de eis waaraan ze voldoet, in het formaat dat je reviewers al gebruiken, zodat het antwoord op een verzoek om een doorloop een document is in plaats van een onderzoek.
De test is eenvoudig en de moeite waard voor alles wat je evalueert: als het verzoek binnenkomt, is het opleveren van het bewijs dan een export, of een noodsituatie?
Eén keer configureren, of eeuwig samenstellen
Het verschil tussen een AI-initiatief dat in een gereguleerd bedrijf live gaat en een dat vastloopt, is zelden het model. Het is of de audittrail een product van de configuratie is of iets wat elke keer onder druk wordt gereconstrueerd als iemand erom vraagt.
Alle vier de eigenschappen hierboven zijn instellingen in NeuralSeek in plaats van componenten die je moet integreren, en ze gelden voor elke workflow die op de implementatie is gebouwd, niet alleen voor die waarvan de makers eraan dachten. Je krijgt ze standaard, in plaats van ze voor elke workflow opnieuw te bouwen.
Lees verder
Meer gidsen over AI met governance
Praktische lectuur over het bouwen, besturen en draaien van AI-agents.
Voor instellingen en parameters, zie de productdocumentatie (in het Engels).
De persoonsgegevens vinden die patroonherkenning mist
Reguliere expressies vinden persoonsgegevens die er als persoonsgegevens uitzien. ‘Maria op kamer 4B’ identificeert een patiënt en komt met geen enkel patroon overeen. Zo vangt een tweede, contextuele ronde het wel.
Meer informatie over detectie van persoonsgegevens
Bouw vandaag nog met NeuralSeek.
Meld je online aan en begin met een proefperiode van twee weken, of bespreek met een NeuralSeek-expert hoe je het in je eigen cloud draait.