Taalmodellen draaien in een volledig geïsoleerde omgeving
Hoe je taalmodellen draait zonder internetverbinding en hoe je aantoont dat er niets je netwerk verlaat.
Meer informatie over geïsoleerde AIPrivacy · 4 min leestijd
Patroonherkenning is snel, goedkoop en deterministisch. Alleen gebruikt mist het precies de persoonsgegevens die een incident worden.
Voordat iets een model bereikt, moet je één vraag met zekerheid beantwoorden: bevat dit persoonsgegevens die we niet mogen versturen? De reflex is om ernaar te zoeken met patroonherkenning, dat snel, goedkoop en deterministisch is en al tientallen jaren de standaard vormt. Alleen gebruikt is het ook onvolledig op manieren die lastig te zien zijn, en de missers zijn precies de gevallen die een incident worden.
Reguliere expressies zijn uitstekend in het vinden van persoonsgegevens met een voorspelbare vorm. Een burgerservicenummer of sofinummer heeft een vaste cijfergroepering. Een betaalkaart heeft een vaste lengte en doorstaat een controlesom. E-mailadressen, telefoonnummers, IP-adressen, rekeningverwijzingen en postcodes volgen allemaal strakke formaten die een reguliere expressie in microseconden herkent.
Daarvoor is patroonherkenning snel, deterministisch, controleerbaar en vrijwel gratis, en het deterministische telt even zwaar als de snelheid. Er is geen reden om een modelaanroep te besteden aan vaststellen dat een tekenreeks in de vorm van een burgerservicenummer een burgerservicenummer is, en alle reden om een controle te verkiezen waarvan je het gedrag exact kunt beredeneren.
De meeste echte persoonsgegevens komen niet vooraf opgemaakt binnen. Een naam is gewoon woorden. Een plaats is gewoon een plaats. Neem twee zinnen die een specifiek mens volkomen betrouwbaar identificeren en geen enkel herkenbaar patroon bevatten: ‘Maria op kamer 4B’ en ‘de CFO die vorig voorjaar van het kantoor in Reno bij ons kwam’.
Een reguliere expressie kan niet over betekenis redeneren, dus laat ze alles wat contextueel is door: namen die ze niet heeft gekregen, functietitels die aan één persoon verbonden zijn, indirecte identificatoren, geparafraseerde rekeningverwijzingen en identificatoren die over een zin verspreid zijn in plaats van in één token te staan. Ze geeft ook valse positieven de andere kant op, doordat elk getal van negen cijfers als identificator wordt gemarkeerd, en ze breekt zodra data in een onverwacht formaat binnenkomt.
De fout is stil, en dat is de slechtste eigenschap die een privacycontrole kan hebben. Er wordt niets gemarkeerd, niets gelogd en de pijplijn meldt succes.
Een detector op basis van een model leest tekst zoals een mens dat doet. Hij herkent dat ‘de patiënt’, ‘kamer 4B’ en een voornaam samen identificeerbare gezondheidsgegevens vormen, ook al komt geen enkel token met iets overeen. Hij vangt namen die hij nooit eerder zag, merkt op wanneer een zin één specifiek individu beschrijft in plaats van een categorie en past zich aan aan formuleringen waar geen enkele regel op rekende.
De prijs is dat het trager en probabilistisch is. Het redeneert in plaats van te vergelijken, dus je wilt het niet over elke byte van elk verzoek laten lopen als een goedkope deterministische regel de vraag al heeft beantwoord. Het betekent ook dat de uitkomst een oordeel is, en zo moet worden behandeld.
De twee aanpakken falen op tegenovergestelde plekken, en daarom horen ze in een reeks en niet in concurrentie. Eerst draait een snelle deterministische ronde die de gestructureerde identificatoren goedkoop en voorspelbaar verwijdert. Daarna draait een contextuele ronde over wat overblijft en vangt de namen, plaatsen en geparafraseerde verwijzingen die de patronen niet konden zien.
Patroonherkenning levert volume en precisie; de contextuele ronde levert nuance en dekking. Gelaagd dichten ze een gat dat geen van beide alleen dicht, en beide draaien voordat één gevoelig token je systemen verlaat. Dat is de enige volgorde die helpt, want een redactie na de modelaanroep is al mislukt.
Een detector die iets vindt en daar niets consistents mee doet, is geen controle. De tweede beslissing is beleid: wordt bij een treffer de waarde gemaskeerd, vervangen door een stabiel token zodat de zin nog te lezen is, volledig verwijderd, of wordt het hele verzoek geweigerd? Per doel zijn andere antwoorden juist, en daarom loont het om dit per workflow in te stellen in plaats van globaal.
Twee aangrenzende controles tellen zwaarder dan ze lijken. Ten eerste de mogelijkheid om te bepalen wat in jouw domein als gevoelig geldt, want een term die in de ene sector onschuldig is, is in een andere een identificator. Ten tweede inloggegevens en verbindingsgeheimen helemaal buiten het modelverkeer houden, want als een sleutel een prompt kan bereiken, kan hij een log bereiken, en de log is het stuk dat je aan een auditor overhandigt.
En doordat elke detectie en elke actie wordt vastgelegd, verandert de vorm van de bewering. ‘We geloven dat onze data veilig is’ wordt een registratie die laat zien wat is gedetecteerd, wat daarmee is gedaan en wanneer.
Lees verder
Praktische lectuur over het bouwen, besturen en draaien van AI-agents.
Voor instellingen en parameters, zie de productdocumentatie (in het Engels).
Hoe je taalmodellen draait zonder internetverbinding en hoe je aantoont dat er niets je netwerk verlaat.
Meer informatie over geïsoleerde AIDe instellingen die bepalen wat je AI kan lezen, en waarom ze de grens van de nauwkeurigheid bepalen.
Meer informatie over bronnenMeld je online aan en begin met een proefperiode van twee weken, of bespreek met een NeuralSeek-expert hoe je het in je eigen cloud draait.