سجل التغييرات

نُشر oloproof 0.1.0a1، فصار المسار الذهبي يبدأ بـ pip install oloproof في بيئة نظيفة وينتقل مباشرة إلى oloproof init وoloproof run. تُبنى الإصدارات وتُنشر من commit موسوم في CI، عبر النشر الموثوق في PyPI، دون أي رمز مخزَّن.

التشغيل أو المقارنة الذي يتوقف مبكرًا يسجّل الآن كل نظرة ألقاها، وتعيد منصة العمل عرضها: الفترة الصالحة في كل لحظة وهي تضيق عند كل نظرة أمام عتبة لا تتحرك، والنظرة التي حسمت عندها كل قاعدة. ولا ترسم إلا الفترات التي سجّلها المحرّك. ولا تُحرَّك أبدًا فترةٌ ذات عينة ثابتة كأنها حيّة، لأن مراقبتها حتى تبدو جيدة تُبطل ضمانها.

⌘K أو Ctrl+K يسرد كل وجهة يمكنك رؤيتها، ولصق معرّف تشغيل أو بصمة مقارنة يفتحها. g ثم حرف للتنقّل، وj وk للتحرك بين صفوف الجدول، و? يسرد كل الاختصارات. تُفتح الحالة بجانب تشغيلها، مع سلسلة أدلتها والأشخاص الذين وضعوا تسمياتها. وتتوقف كل الحركات عند تفضيل تقليل الحركة.

باتت منصة العمل تخدم oloproof.com، ونجح المسار الذهبي من البداية إلى النهاية على الخادم: وضع مراجعٌ تسميات لـ 80 حالة سحبتها مساحة العمل، ووجد 7 إجابات خاطئة كان المحكّم قد أجازها، وقررت مساحة العمل أنه ناجح على عينتها المتحقَّق منها (91.2%، والفترة من 74.5% إلى 100.0%) حيث لم يكن لدى التشغيل المُرسَل وحده أدلة كافية. الوصول بالدعوة.

يستقبل oloproof collect بيانات OTLP/HTTP من SDK قياسي لـ OpenTelemetry، ويجمع نطاقات GenAI وOpenInference في تتبعات معنونة بمحتواها، ويُبقي محتواها على جهازك؛ ويتّبع الإرسال سياسة الإخراج لديك. ويحوّل oloproof traces promote التتبع إلى حالة اختبار مع مصدرها، ويرفض التكرارات.

يوقّع المجمِّع لديك التزامًا بكل تتبع ختمه كل ساعة. ثم تسحب مساحة العمل عينة بعشوائيتها الخاصة وتتحقق من كل تتبع مسحوب مقابل الالتزام، فلا يمكن انتقاء العينة بحجب تتبعات. يحكم oloproof traces evaluate على العينة بناءً على مخرجاتها المسجّلة، وتقرر مساحة العمل بشأنها وفق التقييم الذي ثبّته Owner، ويتابع تسلسل ثقة كل مقياس عبر العينات في صفحة Production الخاصة بالمشروع.

يفتح Owner أو Admin طابورًا ويعيّن مراجعين يضعون التسميات من لوحة المفاتيح: نجاح أو فشل، أو درجة على مقياس مُعلَن، أو تفضيل أعمى بين تشغيلين، ويُسجَّل كلٌّ منها حسب الحساب. ويجلب متصفح المراجع محتوى الحالة من oloproof collect لديك بتذكرة موقّعة صالحة خمس دقائق، فلا تحتفظ به مساحة العمل أبدًا.

يمكن توقيع التشغيل بمفتاح runner سجّله Owner، أو بواسطة الـ worker المُدار. يثبّت Owner التقييم كاملًا (المجموعة والمقيّمين والمقاييس وتشغيل الأساس) وسياسة بوابته، وتقرر مساحة العمل بشأن كل إصدار من النظام في أول تشغيل له لهذا التقييم بعينه، مقارنةً بالتشغيل المثبَّت. ولا تُحتسب التسميات البشرية إلا من واضعي تسميات مستقلين، يُعدّون حسب الحساب.

تصحّح فترة PPI المحكّمَ بعينة عشوائية من التسميات البشرية، ويتطلب ضمانها عينة لم يخترها أحد. باتت مساحة العمل تسحب تلك العينة بعد تجميد أدلة التشغيل لديها، وتحتفظ بالبذرة لنفسها، وتتحقق من الفترة المصحَّحة بمحرّكها الخاص. وتبيّن صفحة التشغيل ما إذا كانت مساحة العمل قد تحققت من الفترة؛ أما العينة المسحوبة على جهازك فتبقى موسومة بحسن النية.

السياسة التي تحتوي early_stopping: true تشغّل الحالات على دفعات ذات بذور، وتوقف التشغيل، أو المرشّح وأساسه معًا بالتزامن، بمجرد أن تحسم كل القواعد، ويُسجَّل ذلك بوصفه DECIDED_EARLY مع الحالات التي لم يحتج إليها. وتستخدم المعدلات الموقوفة فترة رهان صالحة في كل لحظة، فيبقى ضمانها قائمًا مع النظر بعد كل دفعة. ويمكن ضبط بوابة على معدل نجاح المحكّم باستخدام فترة PPI تجمع المحكّم مع عينة عشوائية عمياء من التسميات البشرية، وتُعرض بجانب فترتي المحكّم وحده والبشر وحدهم.

أربعة إشعارات، كلٌّ منها فئة يستطيع العضو إيقافها من الرسالة نفسها: مهمة مُدارة انتهت أو فشلت، وتشغيل أو مقارنة مُرسَلة تحجب بوابتها إصدارًا، والاستخدام عند 80% و100% من الحصة المجانية، وانضمام عضو. وتقتبس رسالة البوابة القرار المخزَّن وترتبط بالتشغيل، دون أي محتوى للحالات. البريد الإلكتروني فقط: لا Slack ولا جهاز نداء ولا webhook.

سجّل الدخول بعنوان بريد إلكتروني وكلمة مرور، إضافةً إلى الدخول عبر مزوّد، مع عناوين متحقَّق منها وإمكانية إعادة التعيين. ويستطيع الشخص حذف حسابه بنفسه: يُحذف المستخدم وكل مساحة عمل كان عضوها الوحيد دفعة واحدة، ويمحو الـ worker أدلة مساحات العمل تلك.

يستطيع المحكّم أن يجيب عن سؤال محدَّد النوع (نعم أو لا، أو اختيار، أو درجة مقابل مستويات) باحتمال لكل إجابة، يُقرأ من احتمالات الرموز في نموذج محلي في تمريرة أمامية واحدة. وتُقاس معايرته مقابل التسميات البشرية وتُسجَّل في مدخله في السجل، ولا يرسل التسلسل المتدرّج إلى محكّم أقوى إلا الحالاتِ التي يتردد فيها محكّم رخيص. ويمكن أن يكون المصنّف المدرَّب مقيّمًا أيضًا، دون مفتاح ودون شبكة.

ضع تسميات لحالات التشغيل من ملف أو من الطرفية، وجرّب مسودة محكّم مقابل تلك التسميات قبل اعتماده. يبلّغ المحكّم عن انحيازه بجانب توافقه، والمحكّم الذي يتجاوز انحيازه هامشًا مُعلَنًا يُمنع من التحكم بالبوابات، ويتوقف احتساب التحقق بمجرد تغيّر النموذج الذي قاسه. وتتحقق مسابير لا تحتاج إلى تسميات مما إذا كان الحكم يتغير حين لم يتغير شيء مهم، وتُطرح المقارنات الثنائية بالترتيبين، فتظهر الإجابة المفضَّلة لموضعها فقط دون أن يضع أحد أي تسمية.

يسجّل المسار أيُّ وكيل نفّذ كل خطوة، وكل تسليم. ويحكم المقيّمون على التوجيه (هل وصل الطلب إلى الوكيل الذي ينبغي أن يتولاه)، وصلاحيات الأدوات (هل استدعى أي وكيل أداة ليست من حقه)، والوكلاء الذين يتقاذفون التحكم بدل أن ينهوا المهمة، وتجمّع الشرائح الحالات حسب مسار التوجيه.

يمكن لمجموعة الاختبار أن تقيس كل حالة عدة مرات. تُجمَّع التكرارات لكل حالة قبل أي فترة، وتقرنها المقارنات بوصفها كسورًا، ويُبلغ التشغيل بعدد الحالات التي ناقضت نفسها. ويمكن للنظام أن يَسِم فشلًا بأنه عابر كي يعيد الـ runner محاولته: في نظام RAG حيّ، استعاد ذلك 18 من 22 حالة مفقودة وضيّق الفترة بنسبة 39%.