Bir değişiklik, baştan sona

Bir değişiklikten sonra puanınız yükseldi. Bu sayfa gerçek bir değişikliği, Oloproof'un onun yayına çıkmasına izin vermeden önce sorduğu her sorudan geçirerek izler: hakem güvenilir mi, değişiklik tek başına çıtayı karşılıyor mu, yerini aldığı şeyden hakeme ve insanlara göre daha iyi mi ve sırada ne denenmeli. Sistem, 40 belgeden yanıt veren, makinenizde yerel modellerle çalışan küçük bir destek botudur; aşağıdaki her sayı motorun yazdırdığı sayıdır. Onu examples/one_change dizininden kopyalayın ve REVIEWER=yourname ./run_demo.sh çalıştırın.

Değişiklik

Temel istem bota tam rakamları, adları ve birimleri korumasını söyler. Aday ise bir ya da iki sıcak, doğal cümle ister. İkisi de aynı 120 soru üzerinde, deterministik bir kontrolle (answer_correct, yanıt beklenen olguyu içeriyor mu) ve yerel bir model hakemiyle (judge_correct, aynı olguyla yanıt veriyor mu) çalıştırılır:

oloproof run --policy release.yaml
oloproof run --config candidate.yaml --policy release.yaml

Doğru yanıtlar 80.0%'den 82.5%'e, hakemin geçme oranı 82.5%'ten 83.3%'e çıktı. Görünen iyileşme budur. Henüz iki çalıştırma da hiçbir şeye karar vermez: yayın kuralı hakemi okur ve hakem kontrol edilmemiştir, bu yüzden kural evaluator_not_validated ile INSUFFICIENT_EVIDENCE der.

Hakeme güvenilebilir mi?

İnsanlar, adayın yanıtlarından kör bir rastgele örneği hakemin kararını görmeden etiketler ve motor hakemi bu etiketlerle karşılaştırarak ölçer:

oloproof review CANDIDATE --criterion judge_correct --by you

Kaydedilen oturumda hakem, etiketlenen 79 vakanın 77'sinde uyum gösterdi (97.5%, alt sınır 91.2%) ve yanlılığı -2.5 puandı; bu, varsayılan çıtaların (uyum 0.70, yanlılık 0.35) içindedir, dolayısıyla doğrulandı ve karar verebilir. O oturumda etiketleri bir gözden geçirenin yerine geçen bir ajan verdi; bu iş akışını gösterir, bir insanın yargısı değildir. Siz çalıştırdığınızda gözden geçiren sizsiniz.

Aday tek başına çıtayı karşılıyor mu?

release.yaml en az 80% hakem geçme oranı ister:

oloproof gate CANDIDATE --policy release.yaml --config candidate.yaml

75.4% ile 89.6% aralığındaki 83.3%, 80%'i içine alır; bu yüzden kural INSUFFICIENT_EVIDENCE olur ve motor yaklaşık 592 vakanın buna karar vereceğini söyler. Güvenilir bir hakem, yakın bir sonucu net hale getirmez.

Temelden daha iyi mi?

compare.yaml iki soru sorar. Aday hakeme göre daha iyi mi; bu, yalnızca insanlar hakemin iki istemde de aynı şekilde yanıldığını gösterirse (judge_bias_bar: 0.10) geçerli kalır? Ve insanların aynı vakalara verilen iki yanıt üzerindeki kendi etiketlerine göre (people_pass_diff, bir human_difference metriği) 10 puandan fazla geride değil mi?

oloproof review CANDIDATE --against BASELINE --criterion judge_correct --by you --sample 40
oloproof compare CANDIDATE BASELINE --policy compare.yaml --config candidate.yaml

Gözden geçirme iki yanıtı, sırası yazı turayla belirlenen A ve B olarak, çalıştırmaları adlandırmadan gösterir. Kaydedilen oturumda hakemin farkı +0.8 puandı (-5.1 ile +7.3 arası): INSUFFICIENT_EVIDENCE ve karar için yaklaşık 3,690 eşleştirilmiş vaka gerekirdi. İnsanlar 40 çiftte adayı 36 kez, temeli 35 kez geçirdi: +2.5 puan (-11.1 ile +17.7 arası), dolayısıyla "10 puandan kötü değil" de INSUFFICIENT_EVIDENCE oldu. Kapı engelledi. Değişiklik, puanların zar zor fark ettiği bir üslup değişikliğiydi ve 120 vaka 1 puanlık bir değişikliği hiç değişiklik olmamasından ayıramaz.

Neden başarısız olduğu yerde başarısız oluyor?

oloproof diagnose CANDIDATE --intervention gold-context --criterion answer_correct --config candidate.yaml

Motor 21 başarısızlığı doğru pasajı modele vererek yeniden çalıştırdı, kontrol olarak da bir kez pasajsız. Kontrol hiçbirini kurtarmadı; doğru pasaj 14'ünü kurtardı: getirmenin pasajı hiç bulmadığı 7, bulunduğu ama ilk 3'ün altında sıralandığı 7 ve yine de başarısız olan 7. Motor bir hipotez olarak daha derin bir top_k önerdi, sonra bunu aynı vakalarda test etti:

oloproof diagnose CANDIDATE --intervention top-k --top-k 8 --criterion answer_correct --config candidate.yaml

Sıralama dışında kalan 7 vakanın tümü kurtarıldı; kontrol ise hiçbirini kurtarmadı.

Sonraki adım

followup.yaml, top_k: 8 ile adaydır; tamamen çalıştırılan yeni bir sistem sürümüdür:

oloproof run --config followup.yaml --policy release.yaml
oloproof compare FOLLOWUP CANDIDATE --policy followup_compare.yaml --config followup.yaml

Hakem geçme oranı 90.0% (83.1% ile 94.8% arası) oldu, dolayısıyla 80% tabanı PASS verdi. Adaya karşı, daha fazla doğru yanıt (+3.3 puan) hâlâ INSUFFICIENT_EVIDENCE idi, hakem geçme oranının 5 puandan fazla kötü olmaması ise PASS idi. Hakem, sonraki adımın değil adayın yanıtları üzerinde kontrol edildi ve kimse sonraki adımın bir çiftini etiketlemedi, bu yüzden oradaki insan farkı hiçbir şeye karar vermez.

Bunun size söyleyemeyecekleri

Bir küçük bot, bir değişiklik, 120 vaka ve yerel modeller. Motorun gerçek bir değişiklikte her karara nasıl ulaştığını gösterir; başka bir sistem hakkında hiçbir şey söylemez. Yerel bir örnek iyi niyete dayanır: yalnızca bir çalışma alanının çektiği örnek orada kontrol edilir. Her çalıştırma kimliğiyle tam kayıt docs/audits/DOGFOOD_LARKSPUR_2026-10-26.md dosyasındadır. Bkz. Hakemler, Karşılaştırma kuralları, RAG değerlendirmesi ve Sınırlar.