Zum Inhalt springen

Governance

und Änderungen zurücksetzen.

Governance protokolliert jede Antwort, jede Agenten-Ausführung und jede Änderung an den Einstellungen. Wirkt etwas falsch, sehen Sie den Grund und können es korrigieren.

Antworten

Jede Antwort, bewertet

Jede Frage und Antwort wird mit ihren Werten für Konfidenz und Abdeckung gespeichert. Sie sehen Minimum, Durchschnitt und Maximum, so fallen die schwachen Antworten hinter einer Beschwerde auf.

Semantische Konfidenz

console › governance › semantic insights
Die Ansicht Semantic Insights: Kacheln für jeden Antwortwert, mit einer Datumsauswahl.
Minimum, Durchschnitt und Maximum jedes Werts für den gewählten Zeitraum.

Die Kacheln lesen

Was jeder Wert Ihnen sagt

Was jede Kachel im gewählten Zeitraum misst und was ein hoher oder niedriger Wert bedeutet.

Semantische KonfidenzWie gut jede Antwort zu ihren Quellen passt, als niedrigster, durchschnittlicher und höchster Wert. Ihre Schwellen für Warnung und Mindestkonfidenz können diesen Wert nutzen, also warnt Sie ein sinkender Durchschnitt früh.

Agenten-Ausführungen

Jede Agenten-Ausführung, protokolliert

Für jeden Agenten: wie oft er lief, seine durchschnittlichen und maximalen Antwortzeiten, die ausgelösten Guardrails und die aufgerufenen Unteragenten. Finden Sie langsame Agenten schnell und öffnen Sie jede Ausführung Schritt für Schritt.

Ausführungen im Zeitverlauf

console › governance › agent details
Die Ansicht Agent Details unter Governance: Agentenauswahl und Zeitraum, Kacheln für Aufrufe, durchschnittliche Laufzeit, Median-, Tail- und Spitzenlatenz sowie Guardrail-Auslösungen, und ein Aufrufbaum, der einen übergeordneten Agenten mit seinen Unteragenten verbindet.
Agent Details: Latenz pro Agent und der Aufrufbaum der Unteragenten, die er aufgerufen hat.

Einstellungen

Jede Änderung an den Einstellungen, umkehrbar

Jede Änderung an Ihrer Konfiguration wird mit dem Nutzer protokolliert, der sie vorgenommen hat, und auf einer Zeitachse angezeigt. Jede Einstellung lässt sich aus dem Änderungsprotokoll zurücksetzen.

Jede Änderung, mit Urheber

console › governance › configuration insights
Die Ansicht Configuration Insights unter Governance: ein großer Titel über einer Zeitachse, auf deren Datumsachse gruppierte Änderungsereignisse liegen.
Configuration Insights: Änderungsereignisse, gruppiert auf einer Zeitachse mit Datum.

Was protokolliert wird

Qualitätsänderungen früh erkennen

Qualität sinkt meist langsam: Eine Quelle veraltet, Fragen ändern sich, ein Modell wird aktualisiert. Diese Werte zeigen es zuerst.

  • Antwortqualität als Verteilung

    Konfidenz, Abdeckung, Antwortlänge und die Zahl der genutzten Quellen, jeweils mit Minimum, Durchschnitt und Maximum. So sehen Sie die ganze Bandbreite der Ergebnisse.

  • Qualität pro Thema im Zeitverlauf

    Abdeckung und Konfidenz für jedes Thema, damit Sie erkennen, wann eine Art von Frage schlechter beantwortet wird.

  • Welche Quellen tatsächlich antworten

    Konfidenz und Abdeckung Ihrer Wissensdatenbank, die meistgenutzten Dokumente und URLs und die Bewertungen der Nutzer. Damit stimmen Sie die Suche ab und entscheiden, welche Inhalte Sie aktuell halten.

  • Begriffe, die immer wieder ohne Quellenbeleg auftauchen

    Begriffe, die in Antworten ohne Beleg in Ihren Quellen auftauchen, nach Häufigkeit geordnet, damit Sie früh handeln. Ist ein Begriff korrekt, geben Sie ihn in derselben Ansicht frei.

  • Tokens, Latenz und Kosten

    Eingabe- und generierte Tokens, Kosten pro Aufruf, Geschwindigkeit und Tokens im Zeitverlauf, mit einem Kostenvergleich der Modelle. Ihr Finanzteam erhält die Kostendaten neben den Qualitätsdaten.

  • Wer es nutzt und wie viel

    Sehen Sie, wer NeuralSeek nutzt und wie viel, in derselben Konsole wie die Antworten.

Den Kreis schließen

Mit jeder dieser Funktionen beheben Sie ein Problem dort, wo Sie es entdeckt haben.

  • Einen Begriff ohne Quellenbeleg direkt korrigieren

    Ist ein als Halluzination markierter Begriff korrekt, geben Sie ihn in derselben Ansicht frei. Die Änderung gilt für Ihre gesamte Instanz.

  • Modellfragen mit Belegen klären

    Wählen Sie Modelle aus, geben Sie eine Frage ein und vergleichen Sie die Antworten nebeneinander, mit protokollierten Token-Kosten und Geschwindigkeiten. Ihre Modellwahl stützt sich auf Ergebnisse, die Sie teilen können.

  • Eine Konfiguration zurücksetzen

    Öffnen Sie das Änderungsprotokoll, sehen Sie, wer welche Einstellung geändert hat, und setzen Sie sie in derselben Ansicht zurück.

  • Vollständiges Audit-Protokoll

    Jede Frage, Antwort, Bewertung und Änderung an Einstellungen wird mit Zeitstempel und Urheber protokolliert. Exportieren Sie das Protokoll nach S3, Splunk oder Datadog.

Fragen von Risiko- und Sicherheitsteams

Was Prüfer für Modellrisiko, Sicherheit und Finanzen zum Protokoll fragen.

  1. Können wir die Logs in unseren eigenen Systemen speichern?

    Ja. Corporate Logging sendet die Aktivität aus Seek und Curate an einen Endpoint, den Sie betreiben. So liegt das Protokoll bei Ihren übrigen Sicherheitsdaten, unter Ihrer eigenen Aufbewahrungsrichtlinie.

  2. Was können wir nach einem Vorfall nachvollziehen?

    Frage und Antwort mit ihren Werten und Quellen, so wiedergegeben, wie sie damals erschienen. Welcher Agent lief und welche Unteragenten er aufrief. Und welcher Nutzer wann welche Einstellung geändert hat.

Noch heute mit NeuralSeek starten.

Registrieren Sie sich online und beginnen Sie mit einer zweiwöchigen Testphase, oder sprechen Sie mit unseren Fachleuten darüber, wie Sie NeuralSeek in Ihrer eigenen Cloud betreiben.