Controllare cosa legge la tua AI

La prima decisione condiziona tutte le successive

Quando arriva una domanda, la knowledge base restituisce un elenco ordinato di candidati. Tutto ciò che viene dopo (re-ranking, base sulle fonti, punteggio di confidenza, la risposta stessa) lavora solo su ciò che quel primo passaggio ha ammesso. Se lasci passare il rumore, ogni controllo successivo spende energie per compensarlo. Se ammetti un insieme pulito, aggiornato e ricco di segnale, l'intera pipeline diventa insieme più precisa, più veloce e più economica.

C'è un secondo motivo per occuparsene: chi decide. Le quattro famiglie di controlli descritte qui sotto permettono a chi conosce il settore di esprimere una valutazione di business (quanta cautela, quanta attualità, quanta sintesi) come impostazione esplicita, invece di lasciarla codificata per caso nella logica applicativa da chi ha scritto la chiamata di recupero.

Fasce di pertinenza: cosa è ammissibile

Il primo controllo è la fascia di punteggi di corrispondenza in cui un documento deve rientrare per essere preso in considerazione. Se metti la soglia minima troppo bassa entra materiale correlato solo alla lontana, e il modello trasformerà fedelmente una corrispondenza debole in un'affermazione che sembra sicura. Se la imposti con criterio, il sistema ragiona solo su fonti davvero pertinenti alla domanda.

Il limite massimo è meno ovvio e conta più di quanto sembri. Intestazioni standard, elementi di navigazione e frammenti quasi duplicati corrispondono in modo meccanico e possono dominare i risultati senza aggiungere nulla. Limitare il punteggio grezzo impedisce che soffochino il passaggio che risponde davvero alla domanda.

Restringere la fascia aumenta la precisione e riduce la copertura; allargarla fa il contrario. Non esiste un'impostazione corretta, solo un compromesso, e renderlo configurabile serve a sceglierlo consapevolmente invece di ereditarlo.

Attualità: privilegiare ciò che è aggiornato

Le knowledge base accumulano storia. I prezzi dell'anno scorso, una policy superata, una specifica deprecata: tutto ancora lì, e tutto ancora corrispondente. Un sistema di recupero che tratta ogni versione come ugualmente valida è il modo in cui un assistente finisce per essere perfettamente preciso su un mondo che non esiste più. È il tipo di errore più convincente che ci sia, perché nella risposta niente sembra sbagliato.

Inserire l'attualità nel punteggio di recupero fa salire le fonti più recenti e scendere quelle superate, senza che qualcuno debba sfoltire i documenti a mano. Quanto deve essere aggressivo il decadimento dipende interamente dal materiale: leggero per la documentazione di riferimento, che invecchia lentamente, forte per prezzi e note di rilascio, dove qualsiasi cosa del trimestre scorso è fuorviante.

Limiti di documenti: più contesto non significa contesto migliore

Mettere più documenti in una singola chiamata peggiora tre cose contemporaneamente. Il rapporto segnale/rumore crolla e il modello perde il filo. La latenza aumenta. E il costo cresce con ogni token in più, a ogni richiesta, per sempre.

Un limite rigido al numero di documenti che arrivano al modello costringe il sistema a inviare solo le corrispondenze migliori. Insieme a una finestra di riutilizzo per le domande ripetute (la stessa domanda posta due volte non va recuperata due volte), riduci insieme rumore e spesa, e decidi tu, non la cache, quanto deve essere recente ciò che viene riutilizzato.

Dimensione degli estratti: quanto di ogni fonte

Anche i documenti giusti portano con sé peso morto. La dimensione degli estratti stabilisce quanta parte di ogni fonte viene passata avanti: abbastanza da conservare il passaggio che risponde alla domanda insieme al contesto che lo rende interpretabile, ma non così tanto da far crescere il budget di token.

Entrambi gli errori sono reali. Se l'estratto è troppo piccolo tagli la frase a metà, e il modello riceve un frammento e lo completa con qualcosa preso altrove. Se è troppo grande, la riga che contiene la risposta resta sepolta nel testo intorno. È l'ultimo controllo di precisione del livello, e non decide quali fonti vincono, ma quanto di ognuna viene davvero letto.

Regolarli come un unico sistema

Non sono controlli indipendenti, e regolarli uno alla volta è il modo in cui i team finiscono per inseguire le proprie modifiche. La pertinenza decide cosa è ammissibile; l'attualità decide quali documenti ammissibili vincono; il limite di documenti decide quanti sopravvivono; la dimensione degli estratti decide quanto di ognuno viene letto. Se ne cambi uno, cambia anche l'impostazione giusta degli altri.

Regolati insieme, consegnano al modello un contesto pertinente, aggiornato, mirato e conciso: la base più pulita che una risposta basata sulle fonti possa avere, e il modo più affidabile per migliorare la qualità delle risposte senza toccare il modello.

L'altro vantaggio riguarda le prove. Poiché ognuno è un'impostazione esplicita, con ogni modifica registrata, e non una logica dentro un'applicazione, “crediamo che il nostro recupero funzioni bene” diventa una dichiarazione precisa di cosa il modello poteva leggere, e perché. È una posizione molto migliore quando, sei mesi dopo, qualcuno chiede conto di una risposta specifica.