Steuern, was Ihre KI liest

Die erste Entscheidung begrenzt jede weitere

Kommt eine Frage an, liefert die Wissensdatenbank eine sortierte Liste von Kandidaten. Alles Nachgelagerte (Re-Ranking, Quellenbindung, Konfidenzbewertung, die Antwort selbst) arbeitet nur mit dem, was dieser erste Durchlauf zugelassen hat. Lassen Sie Rauschen durch, verwendet jede weitere Kontrolle ihre Kraft darauf, es auszugleichen. Lassen Sie eine saubere, aktuelle, aussagekräftige Auswahl zu, wird die ganze Pipeline auf einmal präziser, schneller und günstiger.

Es gibt einen zweiten Grund, sich darum zu kümmern: die Frage, wer entscheidet. Mit den vier Gruppen von Kontrollen unten kann jemand, der die Fachdomäne versteht, eine geschäftliche Einschätzung (wie vorsichtig, wie aktuell, wie knapp) als ausdrückliche Einstellung festlegen, statt dass sie nebenbei in der Anwendungslogik landet, je nachdem, wer den Retrieval-Aufruf geschrieben hat.

Relevanzbereiche: was überhaupt infrage kommt

Der erste Regler ist der Bereich der Übereinstimmungswerte, in dem ein Dokument liegen muss, um berücksichtigt zu werden. Liegt die Untergrenze zu niedrig, rutscht lose verwandtes Material herein, und das Modell macht aus einem schwachen Treffer gewissenhaft eine überzeugend klingende Aussage. Ist sie sinnvoll gesetzt, arbeitet das System nur mit Quellen, die wirklich zur Frage gehören.

Die Obergrenze ist weniger offensichtlich und wichtiger, als sie aussieht. Standardkopfzeilen, Navigationselemente und fast identische Fragmente passen mechanisch und können eine Ergebnisliste dominieren, ohne etwas beizutragen. Eine Obergrenze für den Rohwert verhindert, dass sie die Textstelle verdrängen, die die Frage tatsächlich beantwortet.

Ein engerer Bereich erhöht die Präzision und senkt die Abdeckung, ein weiterer bewirkt das Gegenteil. Es gibt keine richtige Einstellung, nur einen Zielkonflikt, und der Sinn, ihn offenzulegen, ist, dass Sie ihn bewusst entscheiden, statt ihn zu erben.

Aktualität: das Aktuelle bevorzugen

Wissensdatenbanken sammeln Altlasten an. Die Preise vom letzten Jahr, eine ersetzte Richtlinie, eine veraltete Spezifikation: Alles liegt noch da, und alles passt noch. Ein Retriever, der jede Version als gleich gültig behandelt, sorgt dafür, dass ein Assistent perfekt genau über eine Welt Auskunft gibt, die es nicht mehr gibt. Das ist der überzeugendste Fehler überhaupt, weil an der Antwort nichts falsch aussieht.

Fließt die Aktualität in den Retrieval-Wert ein, steigen neuere Quellen auf und veraltete treten zurück, ohne dass jemand die Dokumente von Hand aussortieren muss. Wie stark der Abfall sein sollte, hängt ganz vom Material ab: sanft für Referenzdokumentation, die langsam altert, steil für Preise und Release Notes, bei denen alles aus dem letzten Quartal aktiv in die Irre führt.

Dokumentlimits: mehr Kontext ist nicht besserer Kontext

Mehr Dokumente in einen einzigen Aufruf zu packen, verschlechtert drei Dinge gleichzeitig. Das Signal-Rausch-Verhältnis bricht ein, und das Modell verliert den Faden. Die Latenz steigt. Und die Kosten wachsen mit jedem zusätzlichen Token, bei jeder Anfrage, auf Dauer.

Eine feste Obergrenze dafür, wie viele Dokumente das Modell erreichen, zwingt das System, nur seine stärksten Treffer zu senden. Zusammen mit einem Wiederverwendungsfenster für wiederholte Fragen (dieselbe Frage, zweimal gestellt, muss nicht zweimal abgerufen werden) senken Sie Rauschen und Kosten zugleich, und wie aktuell diese Wiederverwendung ist, bestimmen Sie und nicht der Cache.

Snippet-Größe: wie viel von jeder Quelle

Selbst die richtigen Dokumente tragen Ballast. Die Snippet-Größe bestimmt, wie viel von jeder Quelle weitergegeben wird: lang genug, um die Textstelle mit der Antwort samt dem Kontext zu erhalten, der sie verständlich macht, kurz genug, um das Token-Budget im Griff zu behalten.

Beide Fehlerrichtungen sind real. Zu klein, und Sie schneiden den Satz in der Mitte durch, sodass das Modell ein Fragment erhält und es aus anderer Quelle ergänzt. Zu groß, und die Zeile mit der Antwort geht im umgebenden Text unter. Das ist der letzte Präzisionsregler in dieser Schicht, und er bestimmt nicht, welche Quellen gewinnen, sondern wie viel von jeder tatsächlich gelesen wird.

Alles als ein System abstimmen

Diese Regler sind nicht unabhängig voneinander, und wer sie einzeln abstimmt, jagt am Ende den eigenen Änderungen hinterher. Die Relevanz entscheidet, was infrage kommt, die Aktualität, welche der infrage kommenden Quellen gewinnen, das Dokumentlimit, wie viele übrig bleiben, und die Snippet-Größe, wie viel von jeder gelesen wird. Ändern Sie einen Regler, verschiebt sich die richtige Einstellung der anderen.

Gemeinsam abgestimmt geben sie dem Modell einen Kontext, der relevant, aktuell, fokussiert und knapp ist. Das ist die sauberste Grundlage, die eine auf Quellen gestützte Antwort haben kann, und das, was die Qualität der Ausgaben am zuverlässigsten verbessert, ohne das Modell überhaupt anzufassen.

Der andere Vorteil betrifft die Nachweisbarkeit. Weil jeder Regler eine ausdrückliche Einstellung ist, bei der jede Änderung protokolliert wird, und keine Logik in einer Anwendung, wird aus „Wir glauben, unser Retrieval ist gut“ eine genaue Aussage darüber, was das Modell lesen durfte und warum. In dieser Lage sind Sie viel besser, wenn jemand sechs Monate später nach einer bestimmten Antwort fragt.