الأدلة الإرشادية
ما الذي يعمل اليوم
ما يمكنك تقييمه باستخدام Oloproof اليوم، وكيف تصل إليه (Python SDK، أو oloproof.yaml وCLI، أو المتصفح)، وما لم يُبنَ بعد. وهي مأخوذة من تدقيق القدرات بتاريخ 8 أكتوبر 2026، وهو مراجعة داخلية تحقّقت من كل سطر مقابل الشيفرة واختباراتها لا مقابل الخطط.
كيف تقرأ هذه الصفحة
"SDK" تعني حزمة Python (import oloproof). و"YAML" تعني مشروعًا تشغّله بالأمر oloproof run من oloproof.yaml. وهما ليسا الواجهة نفسها: بعض المُقيِّمات موجود في إحداهما فقط، وهذه الصفحة تبيّن أيّها. و"المتصفح" يعني منصة العمل المستضافة، التي تعرض ما ترسله بالأمر oloproof push؛ ولا تشغّل تقييمات لم تعرّفها في الشيفرة أو في YAML.
يستدعي Oloproof نظامك؛ ولا يستضيفه ولا يعزله ولا يعيد ضبطه. تطبيقك يملك حالته وجلساته والآثار الجانبية لأدواته أثناء التشغيل.
حسب نوع النظام
| نظامك | ما الذي يعمل | أين | لم يُبنَ |
|---|---|---|---|
| مصنِّف أو مخرجات منظَّمة | تطابق تام، واحتواء، وregex، ومخطط JSON، وحَكَم بمعيار تقييم، وحَكَم احتمالي، ومصنِّف نموذج؛ ونسب نجاح مع فترات | SDK وYAML؛ وmodel_classifier وprobability_judge وcascade في YAML فقط | n/a |
| توليد النصوص والملخصات والاستخراج | الفحوص نفسها على النص الحر، وحُكّام بمعيار تقييم، واتفاق الحَكَم مع التسميات البشرية، والتفضيل الزوجي | SDK وYAML؛ والتفضيل هو الأمر oloproof prefer | BLEU أو ROUGE أو تشابه التضمينات (اكتب واحدًا باستخدام @evaluator) |
| RAG تشغّله كصندوق أسود | معدل الإصابة، والاستدعاء، وMRR، وnDCG، وصحة الاستشهادات، وحُكّام الاستناد ودعم الاستشهادات، من عناصر الاسترجاع التي يسجّلها نظامك أو يعيدها | SDK وYAML | التشخيص: يحتاج diagnose إلى نظام مبني على مراحل |
| RAG مبني على مراحل | كل ما سبق، والتخزين المؤقت لكل مرحلة، وoloproof diagnose مع سياق مرجعي، أو تغييرات top-k أو المعيد الترتيب إلى جانب مجموعة ضابطة | SDK @rag_system، وYAML system.rag، وCLI diagnose | تدخلات تتجاوز هذه الثلاثة |
| وكيل يستخدم الأدوات | حدود الخطوات، والأدوات المطلوبة والممنوعة، وترتيب الأدوات، والحلقات، والقيود، من مسار مسجَّل | SDK وYAML | فحص لجودة المسار يحكم عليه LLM |
| نظام متعدد الوكلاء | التوجيه، وأذونات الأدوات لكل وكيل، وحدود التسليم | SDK وYAML | n/a |
| إعادة تشغيل الوكيل | إعادة تشغيل حالة من نقطة حفظ لتسمية خطوة بأنها لازمة أو غير لازمة | SDK فقط (replay_case)، لنظام يدعم نقاط الحفظ | أمر CLI |
| نموذج تصنيف ثنائي | الدقة، والضبط، والاستدعاء، وBrier، وlog loss، والترتيب (AUC) | SDK وYAML predictive: | n/a |
| نموذج متعدد الفئات | كتلة لكل فئة (واحدة مقابل البقية) | SDK وYAML | متوسطات macro أو micro |
| نموذج انحدار | الخطأ المطلق ضمن target_range مُصرَّح به | SDK وYAML | الخطأ التربيعي، ومعامل R تربيع، والخطأ غير المحدود |
| محادثة متعددة الأدوار | ما إذا أُجيب عن كل دور مكتوب مسبقًا، وحَكَم بمعيار تقييم على المحادثة كلها | SDK فقط (ConversationCompleted، ConversationJudge) | أنواع YAML، ودرجات لكل دور، ومحاكي مستخدم، وإعادة تشغيل المحادثة |
| الصور والصوت والفيديو | لا شيء أصيل: يمكن أن تحمل الحالة رابطًا أو ملفًا مُرمَّزًا عبر نظامك، ويمكن لـ @evaluator فحص المخرجات | n/a | لا يرى الحُكّام إلا نص JSON؛ لا عناصر وسائط ولا عرض لها |
حل بديل للمحادثات متعددة الأدوار: اجعل كل دور حالة، وأعطِ أدوار المحادثة الواحدة قيمة group_id نفسها، كي يعاملها التحليل كعنقود (العناقيد). ويكون كل دور حينها استدعاءً منفصلًا، لا حوارًا واحدًا مسجَّلًا.
ربط نظامك
- دالة Python قابلة للاستدعاء: @system في SDK أو system.callable: module:function في YAML. تتلقى input الحالة وتعيد قاموسًا. وتعمل الدوال المتزامنة وغير المتزامنة كلتاهما.
- HTTP: system.http مع url وmethod وoutput_path وartifacts وtimeout_s. يُرسَل مُدخل الحالة جسمًا بصيغة JSON وتُقرأ الاستجابة بصيغة JSON. ولا يمكن ضبط الترويسات والمصادقة بعد؛ ضع نقطة النهاية التي تحتاج إلى مفتاح خلف دالة قابلة للاستدعاء تضيفه.
- المُقيِّمات المخصَّصة: @evaluator في SDK. ولا يستطيع oloproof.yaml أن يسمّي واحدًا بعد.
سير العمل
| سير العمل | ما الذي يعمل | لم يُبنَ |
|---|---|---|
| مقارنة نسختين | التفوق الزوجي، وعدم الدونية، والتكافؤ؛ وشرائح مع ضبط التعددية | n/a |
| CI | رموز خروج oloproof gate بحسب block_on في سياستك، والاعتماد، والسجلات الموقَّعة؛ وملخص لطلب السحب (--summary markdown) | n/a |
| المراجعة البشرية | تسميات من ملف أو من الطرفية؛ وطابور مراجعة في المتصفح بمراجعين مكلَّفين على مساحة عمل مستضافة | طابور مراجعة في المتصفح لمشروع محلي |
| منصة العمل في المتصفح | التشغيلات، والحالات، والمقارنات، والتشخيصات، والمُقيِّمات، والمراجعة، وحركة المرور، بعد oloproof push | استيراد مجموعات البيانات، وتأليف الحُكّام، والجداول الزمنية، والتنبيهات، وتحليلات ما بعد الحوادث (معروضة كمخطط لها) |
| متصفح محلي | n/a | لا يوجد أمر في سطر الأوامر يشغّل منصة العمل محليًا؛ إنها مستضافة |
ما الذي اختُبر، وكيف
لكل عائلة مما سبق اختبارات آلية، تُشغَّل على بيانات تثبيت ومزوّدين محاكين. وهناك تشغيلات مسجّلة على أنظمة حقيقية بنماذج حقيقية لـ RAG، ووكيل واحد، ومحادثة متعددة الأدوار؛ ولا شيء بعد للنماذج التنبؤية أو الأنظمة متعددة الوكلاء. وكل طريقة إحصائية تقرّر الإصدارات معتمدة بتدقيقها الخاص؛ والمقياس الذي ليست له فترة معتمدة لا يقرّر قاعدة بناءً على فترة، والقاعدة التي تحتاج إلى فترة تعيد MANUAL_REVIEW أو INSUFFICIENT_EVIDENCE مع سببها.