Contrôler ce que votre IA lit

La première décision conditionne toutes les suivantes

Quand une question arrive, la base de connaissances renvoie une liste classée de candidats. Tout ce qui suit (reclassement, fondement sur les sources, score de confiance, réponse elle-même) ne travaille que sur ce que cette première passe a admis. Laissez passer du bruit, et chaque contrôle suivant dépense de l'énergie à le compenser. Admettez un ensemble propre, à jour et riche en signal, et tout le pipeline devient à la fois plus net, plus rapide et moins coûteux.

Il y a une seconde raison de s'y intéresser : qui décide. Les quatre familles de contrôles ci-dessous permettent à quelqu'un qui comprend le domaine d'exprimer un jugement métier (quel degré de prudence, d'actualité, de concision) sous forme de paramètre explicite, plutôt que de le voir encodé au passage dans la logique applicative par la personne qui a écrit l'appel de récupération.

Bandes de pertinence : ce qui est éligible

Le premier réglage est la bande de scores de correspondance dans laquelle un document doit se situer pour être pris en compte. Si le plancher est trop bas, du contenu vaguement lié s'infiltre, et le modèle étirera fidèlement une correspondance faible en une affirmation d'apparence assurée. S'il est raisonnable, le système ne raisonne que sur des sources qui concernent vraiment la question.

Le plafond est moins évident et compte plus qu'il n'y paraît. Les en-têtes génériques, les éléments de navigation et les fragments quasi dupliqués correspondent mécaniquement et peuvent dominer un ensemble de résultats sans rien apporter. Plafonner le score brut les empêche d'évincer le passage qui répond vraiment à la question.

Resserrer la bande augmente la précision et réduit la couverture ; l'élargir fait l'inverse. Il n'y a pas de bon réglage, seulement un compromis, et l'intérêt de l'exposer est que vous le fassiez délibérément au lieu de l'hériter.

Fraîcheur : privilégier ce qui est à jour

Les bases de connaissances accumulent l'historique. Les tarifs de l'an dernier, une politique remplacée, une spécification obsolète : tout est encore là et correspond encore. Un moteur de récupération qui traite chaque version comme également valide, c'est ainsi qu'un assistant devient parfaitement exact sur un monde qui n'existe plus. C'est le mode d'échec le plus convaincant, car rien dans la réponse ne paraît faux.

Intégrer la récence au score de récupération fait remonter les sources récentes et reculer les périmées, sans que personne ait à élaguer les documents à la main. L'intensité de la décroissance dépend entièrement du contenu : douce pour une documentation de référence qui vieillit lentement, forte pour les tarifs et les notes de version, où tout ce qui date du trimestre dernier est franchement trompeur.

Limites de documents : plus de contexte n'est pas un meilleur contexte

Pousser plus de documents dans un seul appel dégrade trois choses à la fois. Le rapport signal/bruit s'effondre et le modèle perd le fil. La latence augmente. Et le coût croît avec chaque jeton supplémentaire, à chaque requête, pour toujours.

Un plafond strict sur le nombre de documents qui atteignent le modèle force le système à n'envoyer que ses meilleures correspondances. Associé à une fenêtre de réutilisation pour les questions répétées (la même question posée deux fois n'a pas besoin d'être récupérée deux fois), il réduit à la fois le bruit et la dépense, avec la fraîcheur de cette réutilisation entre vos mains plutôt qu'entre celles du cache.

Taille des extraits : quelle part de chaque source

Même les bons documents transportent du poids mort. La taille des extraits règle la part de chaque source transmise : assez longue pour conserver le passage qui répond à la question et le contexte qui le rend interprétable, assez courte pour garder le budget de jetons sous contrôle.

Les deux dérives sont réelles. Trop petit, et la phrase est coupée en deux : le modèle reçoit un fragment et le complète avec autre chose. Trop grand, et la ligne qui porte la réponse est noyée dans le texte environnant. C'est le dernier réglage de précision de la couche, et il détermine non pas quelles sources l'emportent mais quelle part de chacune est réellement lue.

Les régler comme un seul système

Ce ne sont pas des boutons indépendants, et les régler un à un, c'est ainsi que les équipes finissent par courir après leurs propres changements. La pertinence décide de ce qui est éligible ; la fraîcheur décide lesquels des éligibles l'emportent ; la limite de documents décide combien survivent ; la taille des extraits décide la part lue de chacun. En changer un déplace le bon réglage des autres.

Réglés ensemble, ils donnent au modèle un contexte pertinent, à jour, ciblé et concis, ce qui est la base la plus propre pour une réponse fondée sur vos données, et ce qui améliore le plus sûrement la qualité de sortie sans toucher au modèle.

L'autre bénéfice est probant. Comme chacun est un paramètre explicite, dont chaque changement est journalisé, plutôt qu'une logique à l'intérieur d'une application, « nous pensons que notre récupération est bonne » devient l'énoncé exact de ce que le modèle avait le droit de lire, et pourquoi. C'est une bien meilleure position quand quelqu'un interroge une réponse précise six mois plus tard.