تغيير واحد، من البداية إلى النهاية

ارتفعت درجتك بعد تغيير ما. تتتبّع هذه الصفحة تغييرًا حقيقيًا واحدًا عبر كل سؤال يطرحه Oloproof قبل أن يسمح بشحن ذلك التغيير: هل الحَكَم جدير بالثقة، وهل يبلغ التغيير العتبة وحده، وهل هو أفضل مما يحلّ محله بحسب الحَكَم وبحسب الناس، وماذا نجرّب بعد ذلك. النظام بوت دعم صغير يجيب من 40 مستندًا، ويعمل على جهازك بنماذج محلية؛ وكل رقم أدناه هو ما طبعه المحرك. انسخه من examples/one_change وشغّل REVIEWER=yourname ./run_demo.sh.

التغيير

يطلب prompt خط الأساس من البوت أن يحتفظ بالأرقام والأسماء والوحدات الدقيقة. ويطلب المرشّح جملة أو جملتين دافئتين وطبيعيتين. يُشغَّل كلاهما على الأسئلة الـ 120 نفسها، مع فحص حتمي (answer_correct: هل تحتوي الإجابة على الحقيقة المتوقعة) وحَكَم نموذج محلي (judge_correct: هل تجيب بالحقيقة نفسها):

oloproof run --policy release.yaml
oloproof run --config candidate.yaml --policy release.yaml

ارتفعت الإجابات الصحيحة من 80.0% إلى 82.5%، ومعدل نجاح الحَكَم من 82.5% إلى 83.3%. هذا هو التحسّن الظاهر. لا يقرر أيٌّ من التشغيلين شيئًا بعد: قاعدة الإصدار تقرأ الحَكَم، والحَكَم لم يُفحص، لذا تقول القاعدة INSUFFICIENT_EVIDENCE مع evaluator_not_validated.

هل يمكن الوثوق بالحَكَم؟

يضع أشخاص تسميات على عيّنة عشوائية عمياء من إجابات المرشّح، دون حكم الحَكَم، ويقيس المحرك الحَكَم مقابلها:

oloproof review CANDIDATE --criterion judge_correct --by you

في الجلسة المسجّلة اتفق الحَكَم في 77 من 79 حالة مُسمّاة (97.5%، الحد الأدنى 91.2%) بانحياز قدره -2.5 نقطة، ضمن العتبات الافتراضية (الاتفاق 0.70، الانحياز 0.35)، فاعتُمد ويمكنه أن يقرر. في تلك الجلسة أعطى التسميات وكيلٌ ينوب عن مراجع، وهذا يبيّن سير العمل وليس حكم شخص؛ وحين تشغّله أنت، فأنت المراجع.

هل يبلغ المرشّح العتبة وحده؟

يطلب release.yaml معدل نجاح للحَكَم لا يقل عن 80%:

oloproof gate CANDIDATE --policy release.yaml --config candidate.yaml

83.3% بمدى من 75.4% إلى 89.6% يمتد على جانبي 80%، لذا القاعدة INSUFFICIENT_EVIDENCE، ويقول المحرك إن نحو 592 حالة ستحسمها. الحَكَم الموثوق لا يجعل النتيجة المتقاربة واضحة.

هل هو أفضل من خط الأساس؟

يطرح compare.yaml سؤالين. هل المرشّح أفضل بحسب الحَكَم، ولا يُعتدّ بذلك إلا إذا أظهر الناس أن الحَكَم يخطئ بالطريقة نفسها في كلا الـ prompt (judge_bias_bar: 0.10)؟ وبحسب تسميات الناس أنفسهم على الإجابتين للحالات نفسها (people_pass_diff، وهو مقياس human_difference)، هل هو ليس أسوأ بأكثر من 10 نقاط؟

oloproof review CANDIDATE --against BASELINE --criterion judge_correct --by you --sample 40
oloproof compare CANDIDATE BASELINE --policy compare.yaml --config candidate.yaml

تعرض المراجعة الإجابتين على أنهما A وB، بترتيب تحدده قطعة نقود، دون تسمية التشغيلات. في الجلسة المسجّلة كان فرق الحَكَم +0.8 نقطة (-5.1 إلى +7.3): INSUFFICIENT_EVIDENCE، وسيلزم نحو 3,690 حالة مقترنة لحسمه. أنجح الناس المرشّح 36 مرة وخط الأساس 35 مرة في 40 زوجًا: +2.5 نقطة (-11.1 إلى +17.7)، لذا كانت «ليس أسوأ بـ 10 نقاط» أيضًا INSUFFICIENT_EVIDENCE. حجبت البوابة الإصدار. كان التغيير تغييرًا في الأسلوب بالكاد لاحظته الدرجات، و120 حالة لا تستطيع أن تميّز تغييرًا بنقطة واحدة من عدم التغيير.

لماذا يفشل حيث يفشل؟

oloproof diagnose CANDIDATE --intervention gold-context --criterion answer_correct --config candidate.yaml

أعاد المحرك تشغيل الإخفاقات الـ 21 مع تسليم المقطع الصحيح للنموذج، ومرة أخرى من دونه كضابط. لم يستعد الضابط أيًّا منها؛ واستعاد المقطع الصحيح 14: 7 لم يجد فيها الاسترجاع المقطع قط، و7 وُجد فيها لكنه رُتّب تحت أول 3، و7 فشلت على أي حال. اقترح top_k أعمق كفرضية، ثم اختبرها على الحالات نفسها:

oloproof diagnose CANDIDATE --intervention top-k --top-k 8 --criterion answer_correct --config candidate.yaml

استُعيدت الحالات الـ 7 المُستبعدة بالترتيب كلها، مع ضابط لم يستعد أيًّا منها.

المتابعة

followup.yaml هو المرشّح مع top_k: 8، وهو إصدار جديد من النظام شُغّل كاملًا:

oloproof run --config followup.yaml --policy release.yaml
oloproof compare FOLLOWUP CANDIDATE --policy followup_compare.yaml --config followup.yaml

كان معدل نجاح الحَكَم فيه 90.0% (83.1% إلى 94.8%)، لذا كان حدّ 80% الأدنى PASS. مقابل المرشّح، بقي «إجابات صحيحة أكثر» (+3.3 نقطة) INSUFFICIENT_EVIDENCE، وكان «معدل نجاح الحَكَم ليس أسوأ بأكثر من 5 نقاط» PASS. فُحص الحَكَم على إجابات المرشّح لا على إجابات المتابعة، ولم يضع أحد تسميات على زوج من المتابعة، لذا لا يقرر فرق الناس هناك شيئًا.

ما لا يمكن أن يخبرك به هذا

بوت صغير واحد، وتغيير واحد، و120 حالة، ونماذج محلية. يُظهر كيف يصل المحرك إلى كل قرار في تغيير حقيقي؛ ولا يقول شيئًا عن نظام آخر. العيّنة المحلية حسنة النية: وحدها العيّنة التي تسحبها مساحة العمل تُفحص هناك. السجل الكامل، مع كل معرّف تشغيل، هو docs/audits/DOGFOOD_LARKSPUR_2026-10-26.md. راجع الحُكّام وقواعد المقارنة وتقييم RAG والحدود.