Naar de inhoud

Governance

en draai wijzigingen terug.

Governance legt elk antwoord, elke agentrun en elke wijziging van instellingen vast. Ziet iets er mis uit, dan zie je waarom en zet je het recht.

Antwoorden

Elk antwoord, met een score

Elke vraag en elk antwoord wordt bewaard met scores voor betrouwbaarheid en dekking. Je ziet het minimum, het gemiddelde en het maximum, zodat de zwakke antwoorden achter een klacht opvallen.

Semantische betrouwbaarheid

console › governance › semantic insights
De weergave Semantic Insights: tegels voor elke antwoordscore, met een datumkiezer.
Minimum, gemiddelde en maximum van elke score over de data die je kiest.

De tegels lezen

Wat elke score je vertelt

Wat elke tegel meet over de data die je kiest, en wat een hoge of lage waarde betekent.

Semantische betrouwbaarheidHoe goed elk antwoord past bij de bronnen waaruit het komt, getoond als laagste, gemiddelde en hoogste. Je waarschuwings- en minimumniveaus kunnen deze score gebruiken, dus een dalend gemiddelde waarschuwt je vroeg.

Agentruns

Elke agentrun, vastgelegd

Per agent: hoe vaak hij draaide, zijn gemiddelde en piekresponstijden, de guardrails die afgingen en de onderliggende agents die hij aanriep. Vind snel een trage agent en open elke run stap voor stap.

Runs in de tijd

console › governance › agent details
De weergave Agent Details onder Governance: een agentkiezer en periode, tegels voor aanroepen, gemiddelde looptijd, mediaan, staart- en piekresponstijd en guardrail-activaties, en een aanroepboom die een bovenliggende agent aan zijn onderliggende agents koppelt.
Agent Details: responstijd per agent, en de aanroepboom van de onderliggende agents die hij aanriep.

Instellingen

Elke wijziging in instellingen is terug te draaien

Elke wijziging in je setup wordt gelogd met de gebruiker die haar maakte en getoond op een tijdlijn. Elke instelling draai je terug vanuit de wijzigingslog.

Elke wijziging, met haar auteur

console › governance › configuration insights
De weergave Configuration Insights onder Governance: een grote titel boven een tijdlijn waarvan de datumas gegroepeerde wijzigingen draagt.
Configuration Insights: wijzigingen gegroepeerd langs een tijdlijn met data.

Wat wordt vastgelegd

Zie kwaliteitsveranderingen vroeg

Kwaliteit zakt meestal langzaam weg: een bron veroudert, vragen veranderen, een model wordt bijgewerkt. Deze metingen laten het als eerste zien.

  • Antwoordkwaliteit, als verdeling

    Betrouwbaarheid, dekking, antwoordlengte en hoeveel bronnen een antwoord gebruikte, elk met minimum, gemiddelde en maximum, zodat je de volledige spreiding van resultaten ziet.

  • Kwaliteit per onderwerp, in de tijd

    Dekking en betrouwbaarheid per onderwerp, zodat je ziet wanneer één soort vraag slechter wordt.

  • Welke bronnen echt antwoorden

    De betrouwbaarheid en dekking van je kennisbank, de meestgebruikte documenten en URL's, en gebruikersbeoordelingen. Gebruik ze om het zoeken af te stellen en te bepalen welke content je actueel houdt.

  • De termen die steeds zonder bron opduiken

    Termen die in antwoorden staan zonder steun in je bronnen, gerangschikt, zodat je vroeg kunt ingrijpen. Zet een term vanuit dezelfde weergave op de allowlist als hij klopt.

  • Tokens, responstijd en kosten

    Invoertokens en gegenereerde tokens, kosten per aanroep, snelheid en tokens in de tijd, met een kostenvergelijking van modellen. Je finance-team krijgt kostendata naast de kwaliteitsdata.

  • Wie het gebruikt, en hoeveel

    Zie wie het gebruikt en hoeveel, in dezelfde console als de antwoorden.

De cirkel sluiten

Met elk van deze pas je de oplossing toe op dezelfde plek waar je het probleem zag.

  • Een term zonder bron herstellen waar je hem vond

    Klopt een term die als hallucinatie is gemarkeerd, zet hem dan vanuit dezelfde weergave op de allowlist. De wijziging geldt voor je hele instantie.

  • Een modelvraag beslissen met bewijs

    Selecteer modellen, voer een vraag in en vergelijk de antwoorden naast elkaar, met tokenkosten en snelheid erbij. Je modelkeuze rust op resultaten die je kunt delen.

  • Een configuratie terugdraaien

    Open de wijzigingslog, zie wie welke instelling wijzigde en draai haar terug vanuit hetzelfde scherm.

  • Volledige audittrail

    Elke vraag, elk antwoord, elke score en elke wijziging van instellingen wordt gelogd, met tijdstempel en gebruiker. Exporteer naar S3, Splunk of Datadog.

Vragen van risk- en securityteams

Wat reviewers van modelrisico, security en finance vragen over de vastlegging.

  1. Kunnen we de logs in onze eigen systemen bewaren?

    Ja. Corporate Logging stuurt Seek- en Curate-activiteit naar een endpoint dat je zelf draait, zodat de vastlegging naast je andere securitydata staat, onder je eigen bewaarbeleid.

  2. Wat kunnen we na een incident terugkijken?

    De vraag en het antwoord met hun scores en bronnen, afgespeeld zoals ze toen verschenen. Welke agent draaide en welke onderliggende agents hij aanriep. En welke gebruiker welke instelling wanneer wijzigde.

Bouw vandaag nog met NeuralSeek.

Meld je online aan en begin met een proefperiode van twee weken, of bespreek met een NeuralSeek-expert hoe je het in je eigen cloud draait.