Một thay đổi, từ đầu đến cuối

Điểm của bạn tăng lên sau một thay đổi. Trang này theo một thay đổi thật qua mọi câu hỏi mà Oloproof đặt ra trước khi cho phép thay đổi đó được phát hành: giám khảo có đáng tin không, thay đổi có tự nó đạt ngưỡng không, nó có tốt hơn thứ nó thay thế theo giám khảo và theo con người không, và nên thử gì tiếp theo. Hệ thống là một bot hỗ trợ nhỏ trả lời từ 40 tài liệu, chạy trên máy của bạn với các mô hình cục bộ; mọi con số dưới đây là những gì engine đã in ra. Sao chép nó từ examples/one_change và chạy REVIEWER=yourname ./run_demo.sh.

Thay đổi

Prompt cơ sở bảo bot giữ đúng các số liệu, tên và đơn vị. Ứng viên yêu cầu một hoặc hai câu ấm áp, tự nhiên. Cả hai được chạy trên cùng 120 câu hỏi, với một kiểm tra tất định (answer_correct, câu trả lời có chứa sự kiện mong đợi không) và một giám khảo mô hình cục bộ (judge_correct, nó có trả lời bằng cùng sự kiện đó không):

oloproof run --policy release.yaml
oloproof run --config candidate.yaml --policy release.yaml

Số câu trả lời đúng tăng từ 80.0% lên 82.5%, tỷ lệ đạt của giám khảo từ 82.5% lên 83.3%. Đó là mức cải thiện bề ngoài. Chưa run nào quyết định điều gì: quy tắc phát hành đọc giám khảo, và giám khảo chưa được kiểm tra, nên quy tắc nói INSUFFICIENT_EVIDENCE với evaluator_not_validated.

Có thể tin giám khảo không?

Con người gắn nhãn một mẫu ngẫu nhiên mù gồm các câu trả lời của ứng viên, không thấy phán quyết của giám khảo, và engine đo giám khảo so với các nhãn đó:

oloproof review CANDIDATE --criterion judge_correct --by you

Trong phiên được ghi lại, giám khảo đồng thuận ở 77 trên 79 trường hợp được gắn nhãn (97.5%, cận dưới 91.2%) với độ thiên lệch -2.5 điểm, nằm trong các ngưỡng mặc định (đồng thuận 0.70, thiên lệch 0.35), nên nó được xác thực và có thể quyết định. Trong phiên đó các nhãn được đưa ra bởi một agent đứng thay cho người duyệt, điều này cho thấy quy trình và không phải là phán đoán của một người; khi bạn chạy nó, bạn là người duyệt.

Ứng viên có tự nó đạt ngưỡng không?

release.yaml yêu cầu tỷ lệ đạt của giám khảo ít nhất 80%:

oloproof gate CANDIDATE --policy release.yaml --config candidate.yaml

83.3% với khoảng từ 75.4% đến 89.6% trùm lên 80%, nên quy tắc là INSUFFICIENT_EVIDENCE, và engine nói khoảng 592 trường hợp sẽ quyết định được. Một giám khảo đáng tin không làm cho một kết quả sát nút trở nên rõ ràng.

Nó có tốt hơn cơ sở không?

compare.yaml đặt hai câu hỏi. Ứng viên có tốt hơn theo giám khảo không, chỉ được giữ nếu con người cho thấy giám khảo sai như nhau trên cả hai prompt (judge_bias_bar: 0.10)? Và theo chính nhãn của con người trên cả hai câu trả lời cho cùng các trường hợp (people_pass_diff, một metric human_difference), nó có không kém hơn quá 10 điểm không?

oloproof review CANDIDATE --against BASELINE --criterion judge_correct --by you --sample 40
oloproof compare CANDIDATE BASELINE --policy compare.yaml --config candidate.yaml

Phần duyệt hiển thị hai câu trả lời là A và B, theo thứ tự do tung đồng xu quyết định, không nêu tên các run. Trong phiên được ghi lại, chênh lệch của giám khảo là +0.8 điểm (-5.1 đến +7.3): INSUFFICIENT_EVIDENCE, và cần khoảng 3,690 trường hợp ghép cặp để quyết định. Con người cho ứng viên đạt 36 lần và cơ sở 35 lần trong 40 cặp: +2.5 điểm (-11.1 đến +17.7), nên "không kém hơn 10 điểm" cũng là INSUFFICIENT_EVIDENCE. Cổng đã chặn. Thay đổi là một thay đổi văn phong mà điểm số hầu như không nhận ra, và 120 trường hợp không thể phân biệt một thay đổi 1 điểm với không thay đổi gì.

Vì sao nó thất bại ở chỗ nó thất bại?

oloproof diagnose CANDIDATE --intervention gold-context --criterion answer_correct --config candidate.yaml

Engine chạy lại 21 trường hợp thất bại với đoạn văn đúng được đưa cho mô hình, và chạy lại không có nó làm đối chứng. Đối chứng không khôi phục được trường hợp nào; đoạn văn đúng khôi phục được 14: 7 trường hợp truy xuất không bao giờ tìm thấy đoạn văn, 7 trường hợp tìm thấy nhưng xếp dưới top 3, và 7 trường hợp vẫn thất bại. Nó đề xuất một top_k sâu hơn làm giả thuyết, rồi kiểm tra nó trên cùng các trường hợp:

oloproof diagnose CANDIDATE --intervention top-k --top-k 8 --criterion answer_correct --config candidate.yaml

Cả 7 trường hợp bị xếp ngoài đều được khôi phục, với một đối chứng không khôi phục được trường hợp nào.

Bước tiếp theo

followup.yaml là ứng viên với top_k: 8, một phiên bản hệ thống mới được chạy đầy đủ:

oloproof run --config followup.yaml --policy release.yaml
oloproof compare FOLLOWUP CANDIDATE --policy followup_compare.yaml --config followup.yaml

Tỷ lệ đạt của giám khảo là 90.0% (83.1% đến 94.8%), nên mức sàn 80% là PASS. So với ứng viên, nhiều câu trả lời đúng hơn (+3.3 điểm) vẫn là INSUFFICIENT_EVIDENCE, và tỷ lệ đạt của giám khảo không kém hơn quá 5 điểm là PASS. Giám khảo được kiểm tra trên các câu trả lời của ứng viên, không phải của bước tiếp theo, và không ai gắn nhãn một cặp nào của bước tiếp theo, nên chênh lệch của con người ở đó không quyết định điều gì.

Điều này không thể cho bạn biết

Một bot nhỏ, một thay đổi, 120 trường hợp và các mô hình cục bộ. Nó cho thấy engine đi đến từng quyết định như thế nào trên một thay đổi thật; nó không nói gì về một hệ thống khác. Một mẫu cục bộ là thiện chí: chỉ mẫu do workspace rút mới được kiểm tra ở đó. Bản ghi đầy đủ, với mọi id của run, là docs/audits/DOGFOOD_LARKSPUR_2026-10-26.md. Xem Giám khảo, Quy tắc so sánh, Đánh giá RAG và Giới hạn.