Skip to content

Pour les équipes RAG et récupération

Sachez ce qu’a fait votre changement d’index.

Les changements de récupération font bouger la qualité d’une manière qu’un diff du découpage ne peut pas montrer. Oloproof exécute votre système RAG en deux étapes qu’il peut voir, et mesure la récupération, les citations, l’ancrage et l’exactitude des réponses sur les mêmes cas, avant et après.

Mesurer

Des évaluateurs qui comprennent la récupération

Taux de réussite, rappel, MRR et nDCG au seuil de coupure que vous choisissez, lus dans les candidats enregistrés ; validité des citations par rapport au contexte fourni au modèle ; juges d’ancrage et de soutien des citations qui le lisent. Un seuil plus profond que ce qu’a renvoyé le moteur de récupération est refusé, et non compté comme un raté.

Isoler

Une étape à la fois

Chaque étape est mise en cache séparément, si bien qu’un changement de prompt ne relance jamais la recherche. Le diagnostic réexécute les cas en échec avec le bon passage à côté d’un témoin et étiquette chacun comme raté de récupération, classé trop bas, perdu du contexte ou échec de génération.

Décider

La porte se décide sur l’intervalle

Candidat et référence sont appariés cas par cas face aux marges que vous déclarez. Une règle ne passe que lorsque son intervalle franchit la marge ; un intervalle trop large pour trancher bloque la publication pour preuves insuffisantes, avec les preuves conservées à côté de la décision.

Un vrai résultat

Un assistant de documentation RAG en production · reranking activé contre reranking désactivé · 58 questions · notre propre exécution, 22 septembre 2026

Bonne page au rang 1

+6.2 points

[−36.3, +45.5] · 48 appariées · non tranché

Bonne page dans le top 3

+3.7 points

[−73.9, +76.2] · 27 appariées · non tranché

Réponse correcte

+6.5 points

[−39.4, +48.4] · 46 appariées · non tranché

À lire les estimations ponctuelles, le reranker ajoutait 12,7 points de bonne page au rang 1 et aurait été livré. Apparié sur les questions auxquelles les deux bras ont répondu, chaque intervalle franchit zéro : ce panel ne peut pas dire si le reranker aide ou nuit, et Oloproof le dit au lieu de désigner un gagnant. Lire le rapport de terrain.