Como controlar o que a sua IA lê

A primeira decisão limita todas as outras

Quando uma pergunta chega, a base de conhecimento devolve uma lista ordenada de candidatos. Tudo o que vem depois (reordenação, respostas com fontes citadas, pontuação de confiança, a própria resposta) trabalha só com o que essa primeira etapa admitiu. Se você deixa o ruído passar, cada controle seguinte gasta esforço para compensá-lo. Se você admite um conjunto limpo, atual e com muito sinal, o processo inteiro melhora de uma vez: fica mais preciso, mais rápido e mais barato.

Há um segundo motivo para isso importar, que é quem decide. As quatro famílias de controles a seguir permitem que alguém que entende do assunto expresse um critério de negócio (quão cauteloso, quão atual, quão conciso) como uma configuração explícita, em vez de esse critério ficar codificado por acaso na lógica da aplicação por quem escreveu a chamada de recuperação.

Faixas de relevância: o que é elegível

O primeiro controle é a faixa de pontuações de correspondência em que um documento precisa cair para ser considerado. Se o mínimo fica baixo demais, entra material pouco relacionado, e o modelo vai esticar fielmente uma correspondência fraca até virar uma afirmação que soa segura. Com um mínimo bem definido, o sistema raciocina só sobre fontes que de fato têm a ver com a pergunta.

O máximo é menos óbvio e importa mais do que parece. Cabeçalhos repetitivos, elementos de navegação e fragmentos quase duplicados correspondem de forma mecânica e podem dominar um conjunto de resultados sem acrescentar nada. Limitar a pontuação bruta impede que eles empurrem para fora o trecho que realmente responde à pergunta.

Estreitar a faixa aumenta a precisão e reduz a cobertura; ampliá-la faz o contrário. Não existe uma configuração certa, apenas um equilíbrio entre as duas coisas, e o sentido de oferecer isso como configuração é que você decida de propósito em vez de herdar a escolha.

Antiguidade: dar prioridade ao que é atual

Bases de conhecimento acumulam história. Os preços do ano passado, uma política substituída, uma especificação obsoleta: tudo continua lá e tudo continua correspondendo. Um sistema de recuperação que trata cada versão como igualmente válida é a forma como um assistente acaba perfeitamente preciso sobre um mundo que não existe mais. É a falha mais convincente que existe, porque nada na resposta parece errado.

Incluir a antiguidade na pontuação de recuperação faz as fontes mais novas subirem e as desatualizadas descerem, sem que ninguém precise limpar os documentos manualmente. O quanto o decaimento deve ser forte depende inteiramente do material: suave para a documentação de referência, que envelhece devagar, e acentuado para preços e notas de versão, em que qualquer coisa do trimestre passado induz ao erro.

Limites de documentos: mais contexto não é contexto melhor

Colocar mais documentos em uma única chamada piora três coisas ao mesmo tempo. A relação sinal-ruído despenca e o modelo perde o fio da meada. A latência sobe. E o custo cresce a cada token adicional, em cada solicitação, para sempre.

Um limite rígido de documentos que chegam ao modelo obriga o sistema a enviar só as melhores correspondências. Combinado com uma janela de reutilização para perguntas repetidas (a mesma pergunta feita duas vezes não precisa ser recuperada duas vezes), você reduz o ruído e o gasto juntos, e a validade dessa reutilização fica sob o seu controle, e não sob o do cache.

Tamanho dos trechos: quanto de cada fonte

Até os documentos certos carregam peso morto. O tamanho dos trechos define quanto de cada fonte é repassado: longo o bastante para preservar o trecho que responde à pergunta junto com o contexto que permite interpretá-lo, e curto o bastante para manter o orçamento de tokens sob controle.

As duas direções de falha são reais. Se o trecho for pequeno demais, você corta a frase ao meio, o modelo recebe um fragmento e o completa com algo de outro lugar. Se for grande demais, a linha que contém a resposta fica enterrada no texto ao redor. É o último controle de precisão da camada, e ele não decide quais fontes vencem, mas quanto de cada uma é realmente lido.

Ajustá-los como um único sistema

Esses controles não são independentes, e ajustá-los um de cada vez é como as equipes acabam correndo atrás das próprias mudanças. A relevância decide o que é elegível; a antiguidade decide quais dos elegíveis vencem; o limite de documentos decide quantos sobrevivem; o tamanho dos trechos decide quanto de cada um é lido. Mude um, e a configuração certa dos outros também muda.

Ajustados juntos, eles entregam ao modelo um contexto relevante, atual, focado e conciso, que é a base mais limpa que uma resposta com fontes citadas pode ter, e o que mais melhora a qualidade das respostas sem mexer no modelo.

O outro benefício é como evidência. Como cada um é uma configuração explícita, com cada mudança registrada, e não uma lógica dentro de uma aplicação, “achamos que a nossa recuperação é boa” passa a ser uma declaração exata do que o modelo tinha permissão para ler e por quê. É uma posição muito melhor quando, seis meses depois, alguém pergunta sobre uma resposta específica.