Corriger un terme sans appui là où vous l'avez trouvé
Quand un terme signalé comme halluciné est correct, ajoutez-le à la liste d'autorisation depuis la même vue. La modification s'applique à toute votre instance.
Gouvernance
et annulez les changements.
La gouvernance enregistre chaque réponse, chaque exécution d'agent et chaque modification des paramètres. Quand quelque chose ne va pas, vous voyez pourquoi et vous corrigez.
Réponses
Chaque réponse, notée
Chaque question et chaque réponse sont conservées avec leurs scores de confiance et de couverture. Vous voyez le minimum, la moyenne et le maximum, et les réponses faibles à l'origine d'une réclamation ressortent.
Confiance sémantique
console › governance › semantic insights
Lire les cartes
Ce que vous dit chaque score
Ce que mesure chaque carte sur la période choisie, et ce que signifie une valeur haute ou basse.
Confiance sémantiqueLa correspondance entre chaque réponse et ses sources, en minimum, moyenne et maximum. Vos seuils d'avertissement et de confiance minimale peuvent utiliser ce score : une moyenne en baisse vous alerte tôt.
Exécutions d'agents
Chaque exécution d'agent, enregistrée
Pour chaque agent : sa fréquence d'exécution, ses temps de réponse moyen et maximal, les garde-fous déclenchés et les agents enfants appelés. Repérez vite un agent lent, et ouvrez n'importe quelle exécution étape par étape.
Exécutions dans le temps
console › governance › agent details
Paramètres
Chaque modification des paramètres, réversible
Chaque modification de votre configuration est journalisée avec l'utilisateur qui l'a faite et affichée sur une frise chronologique. Vous pouvez annuler n'importe quel paramètre depuis le journal des modifications.
Chaque modification, avec son auteur
console › governance › configuration insights
Ce qui est enregistré
Repérez tôt les changements de qualité
La qualité baisse en général lentement : une source vieillit, les questions changent, un modèle est mis à jour. Ces mesures le montrent en premier.
La qualité des réponses, en distribution
Confiance, couverture, longueur de la réponse et nombre de sources utilisées, chacune avec son minimum, sa moyenne et son maximum, pour voir toute l'étendue des résultats.
La qualité par sujet, dans le temps
Couverture et confiance pour chaque sujet, pour repérer le moment où un type de question se dégrade.
Les sources qui répondent vraiment
La confiance et la couverture de votre base de connaissances, les documents et URL les plus utilisés, et les notes des utilisateurs. Servez-vous-en pour ajuster la recherche et choisir le contenu à tenir à jour.
Les termes qui reviennent sans appui dans les sources
Les termes qui apparaissent dans les réponses sans appui dans vos sources, classés, pour agir tôt. Ajoutez un terme à la liste d'autorisation depuis la même vue quand il est correct.
Jetons, latence et coût
Jetons en entrée et générés, coût par appel, vitesse et jetons dans le temps, avec une comparaison des coûts entre modèles. Votre équipe financière dispose des coûts à côté des données de qualité.
Qui l'utilise, et combien
Voyez qui l'utilise et dans quelle mesure, dans la même console que les réponses.
Boucler la boucle
Avec chacune de ces fonctions, vous corrigez à l'endroit même où vous avez repéré le problème.
Trancher le choix d'un modèle sur des preuves
Sélectionnez des modèles, saisissez une question et comparez les réponses côte à côte, avec le coût en jetons et la vitesse enregistrés. Votre choix de modèle s'appuie sur des résultats que vous pouvez partager.
Revenir à une configuration antérieure
Ouvrez le journal des modifications, voyez qui a modifié quel paramètre, et annulez la modification depuis le même écran.
Piste d'audit complète
Chaque question, réponse, note et modification des paramètres est journalisée, horodatée et attribuée. Exportez-la vers S3, Splunk ou Datadog.
Questions des équipes risques et sécurité
Ce que demandent sur l'historique les responsables du risque des modèles, de la sécurité et de la finance.
Pouvons-nous conserver les journaux dans nos propres systèmes ?
Oui. La journalisation d'entreprise envoie l'activité de Seek et de Curate vers un endpoint que vous gérez : l'historique rejoint vos autres données de sécurité, sous votre propre politique de conservation.
Que pouvons-nous examiner après un incident ?
La question et la réponse, avec leurs scores et leurs sources, rejouées telles qu'elles apparaissaient alors. L'agent qui s'est exécuté et les agents enfants qu'il a appelés. Et quel utilisateur a modifié quel paramètre, et quand.
Créez dès aujourd'hui avec NeuralSeek.
Inscrivez-vous en ligne et commencez par un essai de deux semaines, ou parlez à un expert NeuralSeek pour exécuter NeuralSeek dans votre cloud.