Corrija um termo sem base onde você o encontrou
Quando um termo sinalizado como alucinação está correto, adicione-o à lista de permitidos na mesma tela. A alteração vale para toda a sua instância.
Governança
e reverta as alterações.
A governança registra cada resposta, cada execução de agente e cada alteração de configuração. Quando algo parece errado, você vê o motivo e corrige.
Respostas
Cada resposta, com pontuação
Cada pergunta e resposta fica guardada com as pontuações de confiança e cobertura. Você vê o mínimo, a média e o máximo, então as respostas fracas por trás de uma reclamação se destacam.
Confiança semântica
console › governance › semantic insights
Como ler os blocos
O que cada pontuação mostra
O que cada bloco mede nas datas que você escolher e o que significa um valor alto ou baixo.
Confiança semânticaO quanto cada resposta corresponde às fontes de onde veio, como mínimo, média e máximo. Seus níveis de alerta e de confiança mínima podem usar essa pontuação, então uma média em queda avisa você com antecedência.
Execuções de agentes
Cada execução de agente, registrada
Para cada agente: quantas vezes foi executado, os tempos de resposta médio e máximo, os guardrails acionados e os subagentes chamados. Encontre rapidamente um agente lento e abra qualquer execução passo a passo.
Execuções ao longo do tempo
console › governance › agent details
Configurações
Cada alteração de configuração, reversível
Cada alteração na sua configuração fica registrada com o usuário que a fez e aparece em uma linha do tempo. Você pode reverter qualquer configuração pelo registro de alterações.
Cada alteração, com o autor
console › governance › configuration insights
O que é registrado
Perceba cedo as mudanças de qualidade
A qualidade costuma cair aos poucos: uma fonte fica desatualizada, as perguntas mudam, um modelo é atualizado. Estas medições mostram isso primeiro.
A qualidade das respostas, como distribuição
Confiança, cobertura, tamanho da resposta e quantas fontes uma resposta usou, cada uma com mínimo, média e máximo, para você ver toda a variação dos resultados.
Qualidade por tema, ao longo do tempo
Cobertura e confiança de cada tema, para você perceber quando um tipo de pergunta piora.
Quais fontes realmente respondem
A confiança e a cobertura da sua base de conhecimento, os documentos e URLs mais usados e as avaliações dos usuários. Use esses dados para ajustar a busca e decidir qual conteúdo manter atualizado.
Os termos que aparecem repetidamente sem base nas fontes
Os termos que aparecem nas respostas sem respaldo nas suas fontes, em ordem, para você agir cedo. Se um termo estiver correto, adicione-o à lista de permitidos na mesma tela.
Tokens, latência e custo
Tokens de entrada e gerados, custo por chamada, velocidade e tokens ao longo do tempo, com uma comparação de custos entre modelos. Sua equipe financeira tem os dados de custo ao lado dos dados de qualidade.
Quem usa e quanto
Veja quem usa o NeuralSeek e quanto, no mesmo console das respostas.
Fechando o ciclo
Cada um destes recursos permite corrigir no mesmo lugar onde você viu o problema.
Resolva uma dúvida sobre modelos com evidências
Selecione modelos, digite uma pergunta e compare as respostas lado a lado, com o custo em tokens e a velocidade registrados. Sua escolha de modelo fica apoiada em resultados que você pode compartilhar.
Reverta uma configuração
Abra o registro de alterações, veja quem mudou cada configuração e reverta na mesma tela.
Registro de auditoria completo
Cada pergunta, resposta, pontuação e mudança de configuração fica registrada com data, hora e autor. Exporte para S3, Splunk ou Datadog.
Perguntas das equipes de risco e segurança
O que as equipes de risco de modelos, segurança e finanças perguntam sobre o registro.
Podemos manter os logs nos nossos próprios sistemas?
Sim. O registro corporativo envia a atividade do Seek e do Curate para um endpoint que você administra, então o registro fica ao lado dos seus outros dados de segurança, com a sua própria política de retenção.
O que podemos revisar depois de um incidente?
A pergunta e a resposta com as pontuações e as fontes, reproduzidas como apareceram naquele momento. Qual agente foi executado e quais subagentes ele chamou. E qual usuário mudou qual configuração, e quando.
Comece hoje a criar com o NeuralSeek.
Cadastre-se online e comece com um teste de duas semanas, ou fale com nossa equipe sobre como usar o NeuralSeek na sua própria nuvem.