Wissen, was Ihre Index-Änderung bewirkt hat.

Trefferquote, Recall, MRR und nDCG beim Cutoff Ihrer Wahl, gelesen aus den aufgezeichneten Kandidaten; Zitatgültigkeit gegenüber dem Kontext, den das Modell erhalten hat; Judges für Fundiertheit und Zitatbelege, die ihn lesen. Ein Cutoff, der tiefer liegt, als der Retriever geliefert hat, wird abgelehnt, nicht als Fehltreffer gewertet.

Jede Stufe wird einzeln gecacht, sodass eine Prompt-Änderung nie erneut sucht. Die Diagnose führt fehlgeschlagene Fälle mit der richtigen Passage neben einer Kontrolle erneut aus und stuft jeden als Retrieval-Fehltreffer, aus dem Ranking gefallen, aus dem Kontext verloren oder Generierungsfehler ein.

Kandidat und Baseline werden Fall für Fall gegen die von Ihnen deklarierten Margen gepaart. Eine Regel besteht nur, wenn ihr Intervall die Marge überschreitet; ein Intervall, das zu breit ist, um es zu sagen, blockiert das Release als unzureichende Evidenz, und die Evidenz wird neben der Entscheidung aufbewahrt.