ガイド
1 つの変更を最初から最後まで
変更のあとでスコアが上がりました。このページでは、1 つの実際の変更を、Oloproof がその変更の出荷を許す前に問うすべての質問に沿って追います。ジャッジは信頼できるか、変更は単独で基準を満たすか、置き換える対象よりジャッジと人の両方から見て優れているか、そして次に何を試すか。システムは 40 件の文書をもとに回答する小さなサポートボットで、ローカルモデルを使ってあなたのマシンで実行します。以下の数値はすべてエンジンが出力したものです。examples/one_change からコピーし、REVIEWER=yourname ./run_demo.sh を実行してください。
変更
ベースラインのプロンプトは、数値、名前、単位を正確に保つようボットに指示します。候補は、温かく自然な 1 文か 2 文を求めます。どちらも同じ 120 問で実行し、決定的チェック（answer_correct：回答に期待される事実が含まれるか）とローカルモデルのジャッジ（judge_correct：同じ事実で答えているか）を使います。
oloproof run --policy release.yaml
oloproof run --config candidate.yaml --policy release.yaml正答は 80.0% から 82.5% に、ジャッジの合格率は 82.5% から 83.3% に上がりました。これが見かけ上の改善です。どちらの実行もまだ何も決定しません。リリースルールはジャッジを読みますが、ジャッジは検証されていないため、ルールは evaluator_not_validated とともに INSUFFICIENT_EVIDENCE を返します。
ジャッジは信頼できるか
人が候補の回答からブラインドの無作為標本に、ジャッジの判定を見ずにラベルを付け、エンジンがそれと照らしてジャッジを測定します。
oloproof review CANDIDATE --criterion judge_correct --by you記録されたセッションでは、ジャッジはラベル付きの 79 件中 77 件で一致し（97.5%、下限 91.2%）、偏りは -2.5 ポイントでした。既定の基準（一致 0.70、偏り 0.35）の範囲内なので検証済みとなり、決定に使えます。このセッションではレビュー担当者の代わりにエージェントがラベルを付けました。これはワークフローを示すもので、人の判断ではありません。あなたが実行するときは、あなたがレビュー担当者です。
候補は単独で基準を満たすか
release.yaml はジャッジの合格率 80% 以上を求めます。
oloproof gate CANDIDATE --policy release.yaml --config candidate.yaml83.3%、範囲 75.4% から 89.6% は 80% をまたぐため、ルールは INSUFFICIENT_EVIDENCE となり、エンジンは約 592 件あれば決定できると示します。信頼できるジャッジでも、きわどい結果がはっきりするわけではありません。
ベースラインより優れているか
compare.yaml は 2 つの質問をします。ジャッジによれば候補のほうが優れているか（ただし、ジャッジが両方のプロンプトで同じように誤ることを人が示した場合にのみ採用、judge_bias_bar: 0.10）。そして、同じケースへの両方の回答に人自身が付けたラベル（people_pass_diff、human_difference メトリクス）によれば、10 ポイントを超えて劣っていないか。
oloproof review CANDIDATE --against BASELINE --criterion judge_correct --by you --sample 40
oloproof compare CANDIDATE BASELINE --policy compare.yaml --config candidate.yamlレビューでは、実行名を示さずに、コイン投げで決めた順序で両方の回答を A と B として表示します。記録されたセッションでは、ジャッジの差は +0.8 ポイント（-5.1 から +7.3）で INSUFFICIENT_EVIDENCE、決定には約 3,690 組のペアのケースが必要です。人は 40 組中、候補を 36 回、ベースラインを 35 回合格としました。+2.5 ポイント（-11.1 から +17.7）なので、「10 ポイントを超えて劣らない」も INSUFFICIENT_EVIDENCE でした。ゲートはブロックしました。この変更はスコアがほとんど気づかない文体の変更で、120 件では 1 ポイントの変化と変化なしを区別できません。
なぜそこで失敗するのか
oloproof diagnose CANDIDATE --intervention gold-context --criterion answer_correct --config candidate.yamlエンジンは 21 件の失敗を、正しい一節をモデルに渡して再実行し、対照としてそれなしでも再実行しました。対照では 1 件も回復せず、正しい一節では 14 件が回復しました。検索が一節をまったく見つけなかった 7 件、見つけたものの上位 3 件より下に順位付けされた 7 件、そしてそれでも失敗した 7 件です。エンジンはより深い top_k を仮説として提案し、同じケースで検証しました。
oloproof diagnose CANDIDATE --intervention top-k --top-k 8 --criterion answer_correct --config candidate.yaml順位から漏れていた 7 件はすべて回復し、対照では 1 件も回復しませんでした。
その後
followup.yaml は top_k: 8 を指定した候補で、全体を実行する新しいシステムバージョンです。
oloproof run --config followup.yaml --policy release.yaml
oloproof compare FOLLOWUP CANDIDATE --policy followup_compare.yaml --config followup.yamlジャッジの合格率は 90.0%（83.1% から 94.8%）で、80% の下限は PASS でした。候補に対して、正答の増加（+3.3 ポイント）は依然 INSUFFICIENT_EVIDENCE、ジャッジの合格率が 5 ポイントを超えて劣らないことは PASS でした。ジャッジが検証されたのは候補の回答であってその後の回答ではなく、その後のペアには誰もラベルを付けていないため、そこでの人の差は何も決定しません。
これでわからないこと
小さなボット 1 つ、変更 1 つ、120 件、ローカルモデル。実際の変更でエンジンが各決定にどう到達するかを示しますが、別のシステムについては何も語りません。ローカルの標本は善意の申告であり、ワークスペースが抽出した標本だけがそこで検証されます。すべての実行 ID を含む完全な記録は docs/audits/DOGFOOD_LARKSPUR_2026-10-26.md です。ジャッジ、比較ルール、RAG の評価、評価でわからないことを参照してください。