AI draaien in een geïsoleerde omgeving

Wat geïsoleerd echt betekent

Geïsoleerd betekent dat de implementatie geen pad naar het openbare internet heeft. Geen modelaanroepen via een API, geen telemetrie, geen licentiecontrole, geen pakketdownloads tijdens het draaien, geen uitzonderingen. Alles wat het systeem nodig heeft, is van tevoren binnen je netwerk gespiegeld: containerimages, modelgewichten, embeddingmodellen en elke afhankelijkheid.

Dit is wezenlijk strenger dan ‘on-premises’ of ‘private cloud’, die meestal nog een uitgaand pad houden en er vaak van afhankelijk zijn. Het is harde netwerkisolatie, en de moeite loont omdat het aantoonbaar is: je laat het een auditor zien met een netwerkbeleid in plaats van het te beschrijven met een diagram.

Voor de architectuur betekent dit dat isolatie de eerste randvoorwaarde moet zijn in plaats van een latere configuratie. Bijna elke ontwerpkeuze hieronder volgt daaruit.

Orkestratie: de basis

Begin bij wat de workloads plant en schaalt. Containers verpakken elk onderdeel in een draagbare image; Kubernetes, of OpenShift als de geharde enterprise-distributie daarvan, orkestreert die images over je eigen servers en GPU's.

Het cruciale detail is de registry. Je draait een privé-containerregistry binnen je netwerk en spiegelt elke image daarin, zodat geen enkele pod een externe pull probeert. Dat klinkt triviaal en is waar de meeste pogingen voor een geïsoleerde omgeving als eerste stranden, meestal door een basisimage of een sidecar waarvan niemand wist dat die er was. OpenShift verdient zijn plek in gereguleerde omgevingen doordat het standaard beperkte securitycontexten, geïntegreerde imageondertekening en ingebouwd beleid gebruikt, zodat de hardening hieronder met een beter vertrekpunt begint.

Modellen draaien: open gewichten, in het cluster

Omdat er geen gehost model is om aan te roepen, draai je open-weightmodellen zelf. Een inferentieserver zoals vLLM of Text Generation Inference van Hugging Face draait als dienst in het cluster, met GPU-planning, het bundelen van verzoeken en automatisch schalen.

Gewichten worden geladen uit opslag in je eigen infrastructuur die van tevoren is klaargezet en worden tijdens het draaien nooit opgehaald. Dimensioneer de GPU-pods op het model en de gelijktijdigheid die je echt nodig hebt, niet op het grootste beschikbare model, en maak inferentie alleen bereikbaar op het interne clusternetwerk, zodat niets van buiten je netwerk te bereiken is, ook in theorie niet.

Ophalen dat nooit naar buiten gaat

Een model is maar zo nuttig als het materiaal waarop het antwoorden kan baseren, dus ook de ophaalstack moet binnen je netwerk staan: een vectoropslag, een embeddingmodel dat in het cluster draait en een ingestiepijplijn die je documenten indexeert.

Elke stap (embedden, opslaan, bevragen) gebeurt binnen je netwerk, wat betekent dat het bronmateriaal nergens en op geen enkel moment wordt verzonden. Dat is het verschil tussen een generieke offline chatbot, die beperkt bruikbaar is, en een systeem dat kan antwoorden uit geclassificeerd of gereguleerd materiaal, en dat is de reden dat de implementatie bestaat.

Hardening: verdedigbaar maken in plaats van alleen geïsoleerd

Isolatie brengt je een heel eind. Met hardening kun je het regel voor regel bewijzen aan iemand wiens taak het is om je niet te geloven.

• Beperk het oost-westverkeer met netwerkbeleid, zodat alleen de onderdelen die met elkaar moeten praten dat kunnen, en een gecompromitteerde pod het model of de index niet kan bereiken.
• Dwing de herkomst van images af met ondertekening en admission control, zodat een niet-geverifieerde image niet kan draaien, ook niet als die de registry bereikt.
• Bewaar secrets in een verzegelde opslag in het cluster in plaats van in omgevingsvariabelen of manifesten, waar ze in logs en back-ups terechtkomen.
• Zet uitgebreide auditlogging aan, zodat elke inferentie en elke configuratiewijziging aan een identiteit en een tijdstip te koppelen is.

De laag waar de meeste gidsen voor ophouden

Het model draaien is het infrastructuurprobleem, en het makkelijkste. Governance wordt niet overbodig doordat het netwerk geïsoleerd is. Een geïsoleerde assistent kan nog steeds zelfverzekerd antwoorden op basis van zwak opgehaald materiaal, nog steeds het materiaal van de ene bedrijfseenheid aan een andere tonen, nog steeds een inlogsleutel in een log zetten en je nog steeds laten zitten zonder dat je kunt reconstrueren wat hij afgelopen maart deed.

Dus gelden binnen je netwerk dezelfde controles als erbuiten: een betrouwbaarheidsondergrens waaronder het systeem weigert in plaats van antwoordt, documentisolatie tussen klanten of eenheden, redactie en een volledige interactielog. NeuralSeek wordt in hetzelfde cluster geïmplementeerd via dezelfde container en levert die laag zonder één uitgaande aanroep, inclusief de mogelijkheid om de open-weightmodellen die je hebt klaargezet te vergelijken op je eigen materiaal in plaats van op een openbare ranglijst.

De infrastructuur maakt geïsoleerde AI mogelijk. De governance maakt het veilig om er daadwerkelijk iemand voor te zetten.