Satu perubahan, dari awal sampai akhir

Skor Anda naik setelah sebuah perubahan. Halaman ini mengikuti satu perubahan nyata melalui setiap pertanyaan yang diajukan Oloproof sebelum membiarkan perubahan itu dirilis: apakah juri dapat dipercaya, apakah perubahan memenuhi ambang dengan sendirinya, apakah ia lebih baik daripada yang digantikannya menurut juri dan menurut manusia, dan apa yang dicoba berikutnya. Sistemnya adalah bot dukungan kecil yang menjawab dari 40 dokumen, dijalankan di mesin Anda dengan model lokal; setiap angka di bawah adalah yang dicetak engine. Salin dari examples/one_change dan jalankan REVIEWER=yourname ./run_demo.sh.

Perubahannya

Prompt baseline meminta bot mempertahankan angka, nama, dan satuan yang persis. Kandidat meminta satu atau dua kalimat yang hangat dan alami. Keduanya dijalankan pada 120 pertanyaan yang sama, dengan pemeriksaan deterministik (answer_correct, apakah jawaban memuat fakta yang diharapkan) dan juri model lokal (judge_correct, apakah ia menjawab dengan fakta yang sama):

oloproof run --policy release.yaml
oloproof run --config candidate.yaml --policy release.yaml

Jawaban benar naik dari 80.0% menjadi 82.5%, tingkat lulus juri dari 82.5% menjadi 83.3%. Itulah perbaikan yang tampak. Belum ada run yang memutuskan apa pun: aturan rilis membaca juri, dan juri belum diperiksa, jadi aturan menyatakan INSUFFICIENT_EVIDENCE dengan evaluator_not_validated.

Bisakah juri dipercaya?

Manusia memberi label pada sampel acak buta dari jawaban kandidat, tanpa putusan juri, dan engine mengukur juri terhadap label itu:

oloproof review CANDIDATE --criterion judge_correct --by you

Dalam sesi yang direkam, juri sepakat pada 77 dari 79 kasus berlabel (97.5%, batas bawah 91.2%) dengan bias -2.5 poin, di dalam ambang bawaan (kesepakatan 0.70, bias 0.35), jadi ia divalidasi dan boleh memutuskan. Dalam sesi itu label diberikan oleh agen yang menggantikan peninjau, yang menunjukkan alur kerjanya dan bukan penilaian manusia; saat Anda menjalankannya, Anda peninjaunya.

Apakah kandidat memenuhi ambang dengan sendirinya?

release.yaml meminta tingkat lulus juri minimal 80%:

oloproof gate CANDIDATE --policy release.yaml --config candidate.yaml

83.3% dengan rentang 75.4% sampai 89.6% melintasi 80%, jadi aturannya INSUFFICIENT_EVIDENCE, dan engine menyatakan sekitar 592 kasus akan memutuskannya. Juri yang tepercaya tidak membuat hasil yang tipis menjadi jelas.

Apakah lebih baik daripada baseline?

compare.yaml mengajukan dua pertanyaan. Apakah kandidat lebih baik menurut juri, dipertahankan hanya jika manusia menunjukkan juri keliru dengan cara yang sama pada kedua prompt (judge_bias_bar: 0.10)? Dan menurut label manusia sendiri pada kedua jawaban untuk kasus yang sama (people_pass_diff, metrik human_difference), apakah tidak lebih buruk dari 10 poin di bawah?

oloproof review CANDIDATE --against BASELINE --criterion judge_correct --by you --sample 40
oloproof compare CANDIDATE BASELINE --policy compare.yaml --config candidate.yaml

Tinjauan menampilkan kedua jawaban sebagai A dan B, dalam urutan yang ditentukan lemparan koin, tanpa menyebut run-nya. Dalam sesi yang direkam, selisih juri adalah +0.8 poin (-5.1 sampai +7.3): INSUFFICIENT_EVIDENCE, dan sekitar 3,690 kasus berpasangan dibutuhkan untuk memutuskannya. Manusia meluluskan kandidat 36 kali dan baseline 35 kali dalam 40 pasang: +2.5 poin (-11.1 sampai +17.7), jadi "tidak lebih buruk dari 10 poin" juga INSUFFICIENT_EVIDENCE. Gate memblokir. Perubahannya adalah perubahan gaya yang nyaris tidak terlihat oleh skor, dan 120 kasus tidak bisa membedakan perubahan 1 poin dari tidak ada perubahan.

Mengapa gagal di tempat ia gagal?

oloproof diagnose CANDIDATE --intervention gold-context --criterion answer_correct --config candidate.yaml

Engine menjalankan ulang 21 kegagalan dengan bagian teks yang benar diberikan ke model, dan sekali lagi tanpanya sebagai kontrol. Kontrol tidak memulihkan satu pun; bagian teks yang benar memulihkan 14: 7 di mana retrieval tidak pernah menemukan bagian itu, 7 di mana bagian itu ditemukan tetapi berperingkat di bawah 3 teratas, dan 7 yang tetap gagal. Engine mengusulkan top_k yang lebih dalam sebagai hipotesis, lalu mengujinya pada kasus yang sama:

oloproof diagnose CANDIDATE --intervention top-k --top-k 8 --criterion answer_correct --config candidate.yaml

Ke-7 kasus yang tersisih peringkat semuanya pulih, dengan kontrol yang tidak memulihkan satu pun.

Tindak lanjut

followup.yaml adalah kandidat dengan top_k: 8, versi sistem baru yang dijalankan penuh:

oloproof run --config followup.yaml --policy release.yaml
oloproof compare FOLLOWUP CANDIDATE --policy followup_compare.yaml --config followup.yaml

Tingkat lulus jurinya 90.0% (83.1% sampai 94.8%), jadi batas bawah 80% adalah PASS. Dibandingkan kandidat, lebih banyak jawaban benar (+3.3 poin) masih INSUFFICIENT_EVIDENCE, dan tingkat lulus juri yang tidak lebih buruk dari 5 poin adalah PASS. Juri diperiksa pada jawaban kandidat, bukan jawaban tindak lanjut, dan tidak ada yang memberi label pada pasangan tindak lanjut, jadi selisih menurut manusia di sana tidak memutuskan apa pun.

Apa yang tidak bisa diberitahukan

Satu bot kecil, satu perubahan, 120 kasus, dan model lokal. Ini menunjukkan bagaimana engine mencapai setiap keputusan pada perubahan nyata; ini tidak mengatakan apa pun tentang sistem lain. Sampel lokal bersifat itikad baik: hanya sampel yang ditarik workspace yang diperiksa di sana. Catatan lengkapnya, dengan setiap id run, ada di docs/audits/DOGFOOD_LARKSPUR_2026-10-26.md. Lihat Juri, Aturan perbandingan, Evaluasi RAG dan Batasan.