IA em um ambiente totalmente isolado

O que significa de fato um ambiente totalmente isolado

Um ambiente totalmente isolado significa que a implantação não tem nenhum caminho até a internet pública. Nada de chamadas à API de um modelo, telemetria, verificação de licença ou download de pacotes em tempo de execução, sem exceções. Tudo o que o sistema precisa é espelhado com antecedência dentro da sua rede: imagens de contêineres, pesos de modelos, modelos de embeddings e cada dependência.

Isso é bem mais rigoroso do que “na sua própria infraestrutura” ou “nuvem privada”, que normalmente mantêm alguma saída para a internet e muitas vezes dependem dela. É isolamento de rede total, e o esforço vale a pena porque pode ser comprovado: você consegue demonstrá-lo a um auditor com uma política de rede, em vez de descrevê-lo com um diagrama.

A consequência para a arquitetura é que o isolamento precisa ser a primeira restrição, não uma configuração posterior. Quase todas as decisões de projeto a seguir partem daí.

Orquestração: a base

Comece pelo que agenda e escala as cargas de trabalho. Os contêineres empacotam cada componente em uma imagem portátil; o Kubernetes, ou o OpenShift como a sua distribuição empresarial reforçada, orquestra essas imagens nos seus próprios servidores e GPUs.

O detalhe crítico é o registro de imagens. Você executa um registro privado de contêineres dentro da sua rede e espelha nele cada imagem, para que nenhum pod tente baixar nada de fora. Parece trivial, e é onde a maioria das tentativas de isolamento total falha primeiro, quase sempre por causa de uma imagem base ou de um sidecar que ninguém sabia que estava lá. O OpenShift conquista o seu lugar em ambientes regulados porque usa por padrão contextos de segurança restritos, assinatura de imagens integrada e políticas nativas, então o reforço de segurança descrito mais adiante parte de uma posição melhor.

Servir modelos abertos dentro do cluster

Como não existe um modelo hospedado para chamar, é você quem serve os modelos abertos. Um servidor de inferência como o vLLM ou o Text Generation Inference da Hugging Face funciona como um serviço dentro do cluster, com agendamento de GPU, processamento de solicitações em lote e escalonamento automático.

Os pesos são carregados a partir de um armazenamento na sua própria infraestrutura, preparado com antecedência, e nunca são baixados em tempo de execução. Dimensione os pods de GPU de acordo com o modelo e a concorrência de que você realmente precisa, não com o maior modelo disponível, e deixe a inferência acessível somente pela rede interna do cluster, para que nada possa ser alcançado de fora da sua rede, nem em teoria.

Recuperação que fica dentro da sua rede

Um modelo só é tão útil quanto o material em que ele pode basear as respostas, então a pilha de recuperação também precisa estar dentro da sua rede: um banco de dados vetorial, um modelo de embeddings servido dentro do cluster e um pipeline de ingestão que indexa os seus documentos.

Cada etapa (embeddings, armazenamento, consulta) acontece dentro da sua rede, então o material de origem nunca é transmitido para lugar nenhum, em momento algum. Essa é a diferença entre um chatbot genérico offline, de utilidade limitada, e um sistema capaz de responder a partir de material sigiloso ou regulado, que é a razão de ser da implantação.

Reforço de segurança: poder defender, não só estar isolado

O isolamento leva você quase até o fim. O reforço de segurança é o que permite comprovar isso, item por item, para alguém cujo trabalho é desconfiar de você.

• Restrinja o tráfego leste-oeste com políticas de rede, para que só se comuniquem os componentes que precisam disso e um pod comprometido não consiga chegar ao modelo nem ao índice.
• Exija a procedência das imagens com assinatura e controle de admissão, para que uma imagem não verificada não possa ser executada mesmo que chegue ao registro.
• Guarde os segredos em um cofre lacrado dentro do cluster, não em variáveis de ambiente nem em manifestos, onde eles acabam em logs e backups.
• Ative um registro de auditoria completo para que cada inferência e cada mudança de configuração possam ser atribuídas a uma identidade e a um horário.

A camada em que a maioria dos guias para

Executar o modelo é o problema de infraestrutura, e é o mais fácil. Governá-lo não deixa de ser necessário porque a rede está isolada. Um assistente em um ambiente totalmente isolado ainda pode responder com segurança a partir de uma recuperação fraca, mostrar o material de uma unidade de negócio a outra, deixar uma credencial em um log e deixar você sem como reconstruir o que ele fez em março do ano passado.

Por isso, dentro da sua rede valem os mesmos controles de fora dela: um nível mínimo de confiança abaixo do qual o sistema deixa de responder, isolamento de documentos entre clientes ou unidades de negócio, mascaramento de dados sensíveis e um registro completo das interações. O NeuralSeek é implantado no mesmo cluster, pelo mesmo contêiner, e fornece essa camada sem uma única chamada de saída, incluindo a possibilidade de comparar os modelos abertos que você preparou com o seu próprio material, e não com um ranking público.

A infraestrutura torna possível a IA em um ambiente totalmente isolado. A governança é o que permite colocá-la de fato diante de alguém com segurança.