根拠のない用語を、見つけた場所で修正
ハルシネーションとしてフラグが付いた用語が正しい場合は、同じ画面から許可リストに追加できます。変更はインスタンス全体に適用されます。
回答
すべての回答にスコア
すべての質問と回答が、信頼度とカバレッジのスコアとともに保存されます。最小値、平均値、最大値が表示されるため、苦情の原因となった弱い回答がすぐにわかります。
セマンティック信頼度
console › governance › semantic insights
タイルの読み方
各スコアからわかること
選択した期間で各タイルが何を測定し、値の高低が何を意味するか。
セマンティック信頼度各回答が元の情報源とどれだけ一致しているかを、最低値、平均値、最高値で示します。警告レベルと最低信頼度の設定にこのスコアを使えるため、平均値が下がると早めに気づけます。
エージェントの実行
すべてのエージェント実行を記録
エージェントごとに、実行回数、平均と最大の応答時間、作動したガードレール、呼び出した子エージェントを記録します。遅いエージェントをすばやく見つけ、どの実行も手順ごとに確認できます。
実行回数の推移
console › governance › agent details
設定
すべての設定変更を元に戻せる
構成への変更はすべて、変更したユーザーとともに記録され、タイムラインに表示されます。どの設定も、変更ログから元に戻せます。
すべての変更を変更者とともに
console › governance › configuration insights
記録される内容
品質の変化に早く気づく
品質はたいてい少しずつ下がります。情報源が古くなったり、質問の傾向が変わったり、モデルが更新されたりするためです。次の指標が、こうした変化をいち早く示します。
回答品質の分布
信頼度、カバレッジ、回答の長さ、回答が使った情報源の数を、それぞれ最小値、平均値、最大値で表示。結果のばらつき全体を把握できます。
トピック別の品質の推移
トピックごとのカバレッジと信頼度。特定の種類の質問で品質が下がったときに気づけます。
実際に回答に使われている情報源
ナレッジベースの信頼度とカバレッジ、よく使われるドキュメントとURL、ユーザーの評価。検索の調整や、更新し続けるべきコンテンツの判断に役立ちます。
根拠なしで繰り返し現れる用語
情報源の裏付けがないまま回答に現れる用語を、順位付きで表示。早めに対処できます。正しい用語なら、同じ画面から許可リストに追加できます。
トークン、レイテンシー、コスト
入力トークンと生成トークン、呼び出しごとのコスト、速度、トークンの推移、モデル間のコスト比較。財務チームは品質データと並べてコストデータを確認できます。
利用者と利用量
誰がどれだけ使っているかを、回答と同じコンソールで確認できます。
改善につなげる
どの機能でも、問題に気づいたその場で修正できます。
モデル選びを根拠をもって決める
モデルを選んで質問を入力し、回答を並べて比較します。トークンコストと速度も記録されるため、共有できる結果に基づいてモデルを選べます。
構成をロールバック
変更ログを開き、誰がどの設定を変更したかを確認して、同じ画面から元に戻せます。
完全な監査証跡
すべての質問、回答、スコア、設定変更が、タイムスタンプと実行者とともに記録されます。S3、Splunk、Datadogにエクスポートできます。
リスク・セキュリティ部門からのよくある質問
モデルリスク、セキュリティ、財務の担当者が記録について確認すること。
ログを自社のシステムに保管できますか？
はい。「Corporate Logging」が、SeekとCurateのアクティビティを自社で運用するエンドポイントに送信します。記録はほかのセキュリティデータと一緒に、自社の保持ポリシーのもとで保管されます。
インシデントの後、何をさかのぼって確認できますか？
質問と回答を、スコアや情報源とともに当時の表示どおりに再現できます。どのエージェントが実行され、どの子エージェントを呼び出したか。どのユーザーが、いつ、どの設定を変更したかも確認できます。