インデックスの変更が何をもたらしたかを知る。

記録された候補から、選んだカットオフでのヒット率、再現率、MRR、nDCG を読み取ります。モデルに与えられたコンテキストに照らした引用の妥当性、そしてそのコンテキストを読む根拠性ジャッジと引用裏付けジャッジ。リトリーバーが返した件数より深いカットオフは、取りこぼしとして採点されるのではなく、拒否されます。

各段階は個別にキャッシュされるので、プロンプトを変えても検索がやり直されることはありません。診断は失敗したケースを正解パッセージで対照と並べて再実行し、それぞれを検索の取りこぼし、順位外、コンテキストからの脱落、生成の失敗のいずれかにラベル付けします。

候補とベースラインは、宣言したマージンに対してケースごとに対応づけられます。ルールが通過するのは区間がマージンを超えたときだけです。判断できないほど広い区間は、エビデンス不十分としてリリースを止め、エビデンスは判定と並べて保存されます。