AIが読む情報を 管理する

最初の判断が、その後のすべてを制約する

質問が届くと、ナレッジベースは候補をランク付けしたリストを返します。その後の処理（再ランキング、回答の根拠付け、信頼度のスコアリング、回答そのもの）はすべて、この最初の段階で通過したものだけを対象にします。ノイズを通せば、その後のすべての管理策がそれを補うために労力を使うことになります。きれいで新しく、有用な情報の多い集合を通せば、パイプライン全体がより正確に、より速く、より低コストになります。

もう1つの理由は、誰が判断するかです。以下の4種類の管理策を使えば、その分野を理解している人が、ビジネス上の判断（どれだけ慎重にするか、どれだけ新しさを重視するか、どれだけ簡潔にするか）を明示的な設定として表現できます。検索の呼び出しを書いた人が、アプリケーションのロジックの中にたまたま組み込んでしまうことはありません。

関連度の範囲：そもそも対象になるもの

最初の調整項目は、文書が候補になるために収まるべき一致スコアの範囲です。下限を低くしすぎると、関連の薄い資料が入り込み、モデルは弱い一致を忠実に引き延ばして、もっともらしい主張にしてしまいます。適切に設定すれば、システムは質問に本当に関係する情報源だけをもとに推論します。

上限はわかりにくいものの、見た目以上に重要です。定型的なヘッダー、ナビゲーション要素、ほぼ重複した断片は機械的に一致し、何も付け加えないまま結果を占めてしまうことがあります。生のスコアに上限を設ければ、それらが質問に実際に答える箇所を押しのけることはありません。

範囲を狭めれば適合率が上がってカバレッジが下がり、広げればその逆になります。正しい設定はなく、あるのはトレードオフだけです。これを調整項目として公開している意味は、既定値をそのまま受け継ぐのではなく、意図して選べることにあります。

鮮度：新しい情報を優先する

ナレッジベースには過去の情報がたまっていきます。昨年の料金、改定前のポリシー、廃止された仕様。どれもまだ残っていて、どれもまだ一致します。すべてのバージョンを同じように有効と扱う検索では、アシスタントは、もう存在しない状況について完璧に正確な回答をすることになります。回答のどこにもおかしな点が見えないため、最も見破りにくい失敗です。

検索スコアに新しさを組み込めば、誰かが手作業で文書を整理しなくても、新しい情報源が上位に、古い情報源が下位になります。減衰をどれだけ強くするかは、資料の性質によってまったく異なります。古くなりにくいリファレンスドキュメントでは緩やかに、前の四半期の情報が誤解を招く料金やリリースノートでは急にします。

文書数の上限：コンテキストは多ければよいわけではない

1回の呼び出しに多くの文書を詰め込むと、3つのことが同時に悪化します。SN比が下がり、モデルが要点を見失います。レイテンシーが上がります。そして、すべてのリクエストで、トークンが増えるたびにコストがずっと増え続けます。

モデルに届く文書の数に厳格な上限を設ければ、システムは最も強く一致したものだけを送るようになります。繰り返される質問の再利用期間（同じ質問が2回来ても、2回検索する必要はありません）と組み合わせれば、ノイズとコストを同時に減らせます。その再利用の鮮度も、キャッシュ任せではなく自社で管理できます。

スニペットのサイズ：各情報源をどれだけ使うか

正しい文書にも、不要な部分は含まれています。スニペットのサイズは、各情報源のどれだけを次に渡すかを決めます。質問に答える箇所と、それを解釈するのに必要な文脈を残せるだけの長さがあり、トークンの予算を守れるだけの短さに収めます。

どちらの方向の失敗も実際に起こります。小さすぎると文が途中で切れ、モデルは断片を受け取って、残りをどこか別のところから補ってしまいます。大きすぎると、答えを含む1行が周囲の文章に埋もれます。これはこの層で最後の精度の調整項目で、どの情報源が選ばれるかではなく、各情報源のどれだけが実際に読まれるかを決めます。

1つのシステムとして調整する

これらは独立した調整項目ではありません。1つずつ調整すると、自分の変更を追いかけ続けることになります。関連度は何が対象になるかを、鮮度は対象の中で何が勝つかを、文書数の上限はいくつ残るかを、スニペットのサイズは各情報源のどれだけが読まれるかを決めます。1つを変えれば、ほかの最適な設定も変わります。

まとめて調整すれば、関連性が高く、新しく、焦点が絞られた簡潔なコンテキストをモデルに渡せます。データに基づく回答にとって最もきれいな土台であり、モデルにまったく手を加えずに出力の質を最も確実に高める方法です。

もう1つの利点は、証拠としての価値です。どれもアプリケーション内のロジックではなく明示的な設定であり、すべての変更が記録されるため、「検索はうまく機能していると思う」が、モデルが何を読むことを許されていたのか、そしてその理由を正確に示す説明になります。6か月後に誰かが特定の回答について尋ねてきたとき、はるかに有利な立場に立てます。