インターネットから隔離された 環境でAIを運用する

完全な隔離が本当に意味すること

完全に隔離された環境とは、公開インターネットへの経路がまったくない環境のことです。モデルのAPI呼び出しも、テレメトリも、ライセンス確認も、実行時のパッケージのダウンロードもなく、例外もありません。システムに必要なものはすべて、事前にネットワーク内にミラーリングしておきます。コンテナイメージ、モデルの重み、エンベディングモデル、そしてすべての依存関係です。

これは「オンプレミス」や「プライベートクラウド」よりも明らかに厳格です。どちらも通常は何らかの外部への経路が残っており、それに依存していることも少なくありません。完全な隔離は厳格なネットワーク分離であり、その手間に見合う理由は、証明できることにあります。図で説明するのではなく、ネットワークポリシーで監査担当者に示せます。

アーキテクチャへの影響として、隔離は後から設定するものではなく、最初の制約にする必要があります。以下の設計判断のほとんどは、ここから導かれます。

オーケストレーション：土台

まず、ワークロードのスケジューリングとスケーリングを担う仕組みから始めます。コンテナは各コンポーネントを持ち運びできるイメージにまとめ、Kubernetes、またはそのセキュリティを強化したエンタープライズ向けディストリビューションであるOpenShiftが、自社のサーバーとGPU全体でそれらのイメージをオーケストレーションします。

重要なのはレジストリです。ネットワーク内でプライベートなコンテナレジストリを運用し、すべてのイメージをそこにミラーリングして、どのPodも外部からイメージを取得しようとしないようにします。簡単そうに聞こえますが、隔離環境の構築が最初につまずくのはたいていここです。原因の多くは、誰も存在を知らなかったベースイメージやサイドカーです。OpenShiftが規制のある環境で選ばれるのは、制限の厳しいセキュリティコンテキストが既定で、イメージ署名とポリシーが組み込まれているためです。そのため、以下のセキュリティ強化をより良い状態から始められます。

モデルの提供：オープンウェイトをクラスター内で

呼び出せるホスト型のモデルがないため、オープンウェイトのモデルを自社で提供します。vLLMやHugging FaceのText Generation Inferenceなどの推論サーバーを、GPUのスケジューリング、リクエストのバッチ処理、オートスケーリングを備えたクラスター内のサービスとして実行します。

モデルの重みは、事前に用意したオンプレミスのストレージから読み込み、実行時に取得することはありません。GPUのPodは、利用できる最大のモデルではなく、実際に必要なモデルと同時実行数に合わせてサイズを決めます。推論はクラスターの内部ネットワークでのみ公開し、原理的にもネットワークの外からは何にも到達できないようにします。

外部に送られない検索

モデルの有用性は、根拠にできる資料で決まります。そのため、検索の基盤もネットワーク内に置く必要があります。ベクトルストア、クラスター内で提供するエンベディングモデル、そして文書をインデックス化する取り込みパイプラインです。

エンベディング、保存、クエリのすべての処理がネットワーク内で行われるため、元の資料がどの時点でもどこかへ送信されることはありません。これが、用途の限られる汎用のオフラインチャットボットと、機密情報や規制対象の資料に基づいて回答できるシステムとの違いであり、この導入形態が存在する理由です。

セキュリティ強化：隔離するだけでなく、説明責任を果たせる状態に

隔離でほとんどのことは実現できます。セキュリティ強化は、疑うことが仕事の相手に対して、それを1行ずつ証明できるようにするものです。

• ネットワークポリシーでクラスター内の通信（イーストウエストトラフィック）を制限し、通信が必要なコンポーネント同士だけが通信できるようにします。侵害されたPodがモデルやインデックスに到達できないようにするためです。
• 署名とアドミッションコントロールでイメージの来歴を強制し、検証されていないイメージは、レジストリに入ったとしても実行できないようにします。
• シークレットは環境変数やマニフェストではなく、クラスター内の封印されたストアに保管します。環境変数やマニフェストに置くと、ログやバックアップに残ってしまいます。
• 包括的な監査ログを有効にし、すべての推論とすべての設定変更を、IDと時刻に結びつけられるようにします。

多くのガイドが触れない層

モデルの実行はインフラの問題であり、こちらは簡単なほうです。ネットワークが隔離されていても、ガバナンスが不要になるわけではありません。隔離環境のアシスタントでも、弱い検索結果から自信たっぷりに回答したり、ある事業部門の資料を別の部門に見せたり、認証情報をログに残したり、昨年3月に何をしたのかを再現できなかったりする可能性はあります。

そのため、ネットワークの内側でも外側と同じ管理策を適用します。一定の信頼度を下回ったら回答せずに辞退する下限、お客様ごとや部門ごとの文書の分離、墨消し、そしてすべてのやり取りの完全なログです。NeuralSeekは同じコンテナで同じクラスターに導入でき、外部への通信を一切行わずにこの層を提供します。用意したオープンウェイトのモデルを、公開のランキングではなく自社の資料で比較することもできます。

インフラがあれば、隔離環境でのAIは実現できます。実際に人の前に出しても安全な状態にするのは、ガバナンスです。