الأشخاص مع النظام وبدونه

لا يكون نظام الذكاء الاصطناعي الذي يقدّم المشورة للناس جيدًا إلا إذا اتخذ هؤلاء الناس قرارات أفضل معه. فالنظام المصيب في 90% من الحالات قد يجعل مستخدميه أسوأ، إذا اتبعوه حيث يخطئ وتوقفوا عن التفكير حيث كانوا يفكرون. يجيب oloproof human-ai report عن سؤالين انطلاقًا من ملف لقرارات الأشخاص: هل يقرر الناس بشكل أفضل عند عرض مخرجات النظام مقارنةً بعدم عرضها، وكيف يعتمدون عليها؟

الدراسة

أعطِ الحالات نفسها لعدة أشخاص. يقرر كل شخص بعض الحالات مع عرض مخرجات النظام والباقي دونها، ويُختار التقسيم عشوائيًا لكل شخص، وبترتيب عشوائي. يجب أن يكون التقسيم عشوائيًا، أو أن تكون المجموعة كلها في كل شرط: فالتقسيم الذي يختاره الشخص أو النظام أو تحدده الصعوبة يجعل الإجابة خاطئة بطريقة لا يغطيها المجال، ولا يستطيع Oloproof رؤيتها في الملف. يقرر كل شخص وحده؛ والفريق الذي يناقش الحالات يُعدّ شخصًا واحدًا. لكل حالة إجابة مرجعية تُحدَّد بشكل مستقل. يُقرَّر تصميمان، ويجيبان عن سؤالين مختلفين. المتقاطع: يرى كل شخص كل حالة مرة واحدة في شرط واحد، فتكون الإجابة ما تفعله المخرجات بالقرار. قبل وبعد: يقرر كل شخص الحالة وحده أولًا ثم مرة أخرى بعد رؤية المخرجات، فتكون الإجابة نظرة ثانية مع المخرجات مقابل نظرة أولى بدونها، وهذا يخلط أثر المخرجات بأثر النظر مرة أخرى. في هذا التصميم يجب أن يأتي القرار بلا مخرجات أولًا؛ ويُسمّى الملف الذي يُظهر خلاف ذلك. والملف الذي قُرِّرت فيه كل حالة مرة واحدة في كل شرط على يد شخصين مختلفين يُسمّى متناثرًا، ويُوصف ولا يُقرَّر أبدًا.

اكتب صفًا واحدًا لكل قرار، بصيغة CSV مع ترويسة أو بصيغة JSONL:

تُقارَن القرارات والمراجع والمخرجات بوصفها نصًا بعد حذف المسافات من طرفيها، لذا اكتب كل تسمية بطريقة واحدة. انسخ المثال باستخدام oloproof init --example human-ai: ثلاثون ادعاءً فرزها ثمانية أشخاص، مأخوذة من مولّد ذي بذرة.

oloproof human-ai check decisions.csv
oloproof human-ai report decisions.csv
oloproof human-ai gate decisions.csv --policy policy.yaml

يقرأ check الملف ويقول ما الذي يمكنه الإجابة عنه. يعطي report كل مقياس ولا يقرر شيئًا. يقرر gate كل قاعدة في السياسة ويخرج بـ 0 عند PASS، و1 عند FAIL، و3 عند INSUFFICIENT_EVIDENCE، و4 عند MANUAL_REVIEW. يقبل كل منها --json. يُقرأ الملف على جهازك ولا يُخزَّن ولا يُرسَل أبدًا.

مع ناقص بدون

الإجابة الرئيسية هي المتوسط، على الأشخاص، لدقة كل شخص مع عرض المخرجات ناقص دقته هو نفسه بدونها. يُحتسب كل شخص مرة واحدة مهما كان عدد الحالات التي قررها، فلا يستطيع قلة من الأشخاص يقومون بمعظم العمل أن يخفوا ما تفعله المخرجات بالآخرين جميعًا. تخص الإجابة الأشخاص الذين سيستخدمون النظام، إن كان أشخاص الدراسة قد سُحبوا منهم، على حالات الدراسة، وعلى غيرها فقط بقدر ما تشبهها.

المجال هو الذي يستخدمه Oloproof لكل متوسط محدود، مطبقًا على مكاسب الأشخاص. لا يفترض شيئًا عن كيفية توزع المكاسب: فإن تبع شخص من كل خمسة النظام إلى الأخطاء، أخذ المجال ذلك في الحسبان. كل جانب صحيح بالثقة المعلنة عند أي عدد من الأشخاص، فلا يُتجاوز الحد الأدنى بالحظ أكثر مما هو معلن. والثمن هو العرض: مع ستة أشخاص يبلغ عرض المجال نحو 1.2 على مقياس من -1 إلى 1، ومع عشرة أشخاص نحو 0.8، وتحت نحو أربعين شخصًا نادرًا ما تقرر القاعدة ما لم يكن المكسب كبيرًا. وحين يكون المجال أعرض من 0.5 يقول التقرير إن الدراسة لا تستطيع أن تقرر حدًا مفيدًا، وكم شخصًا تحتاج تقريبًا. والمجال الذي يعامل كل قرار على أنه مستقل سيكون أضيق بكثير مما ينبغي (قاست شبكة التغطية أنه يغطي القيمة الحقيقية في 39% فقط من المرات، مقابل 95% معلنة). يُملأ القرار المفقود على أنه خاطئ مع المخرجات للحد الأدنى وعلى أنه صحيح معها للحد الأعلى، فيصمد المجال أيًّا كانت القرارات المفقودة، ويعرض التقرير مدى التقدير عبر طريقتي الملء.

اعتُمدت هذه الطريقة في تدقيق مستقل في 3 نوفمبر 2026، بالشروط المذكورة أعلاه: أشخاص يقررون كلٌّ بمفرده، وتقسيم عشوائي، وفي دراسة قبل وبعد يأتي القرار من دون المخرجات أولًا. وتقرر القاعدة على accuracy_difference النتيجة PASS أو FAIL أو INSUFFICIENT_EVIDENCE. وتحتاج إلى شخصين على الأقل قررا في الشرطين كليهما؛ ومع أقل من ذلك تعطي القاعدة INSUFFICIENT_EVIDENCE.

الاعتماد

كل معدل يعدّ قرارات؛ ومقامه يحدد أيها.

لكل معدل المجال الدقيق الذي يستخدمه Oloproof لكل معدل، مع ملء القرارات المفقودة في الاتجاهين. يفترض هذا المجال قرارات مستقلة. وحين يظهر شخص أو حالة أكثر من مرة في مقام معدل، كما في أي دراسة حقيقية، يُبلَّغ عن المعدل وتعطي القاعدة المبنية عليه MANUAL_REVIEW: فتكرار الأشخاص يجعل المجال أضيق مما ينبغي، ولن يقرر Oloproof بناءً عليه.

زمن الوصول إلى القرار هو الوسيط لعدد الثواني في كل شرط، مع مجاله، يُبلَّغ عنه ولا يُستخدم بوابةً أبدًا.

سياسة

confidence: 0.95
rules:
  - id: people-decide-better
    metric: accuracy_difference
    minimum: 0.0
  - id: few-follow-a-wrong-suggestion
    metric: over_reliance
    maximum: 0.5

تسمّي كل قاعدة مقياسًا واحدًا وعتبة واحدة. ينجح الحد الأدنى حين يكون الحد السفلي للمجال عنده أو فوقه، ويفشل حين يكون الحد العلوي دونه؛ والحد الأقصى صورته المعكوسة. وكل ما عدا ذلك INSUFFICIENT_EVIDENCE.

ما لا يمكن أن يخبرك به هذا

• إنه يتحدث عن الأشخاص الذين سُحب منهم أشخاص الدراسة، على حالات تشبه حالات الدراسة. أما الأشخاص المدرَّبون بشكل مختلف، أو المختارون لأنهم يحبون النظام، فهم مجتمع آخر.
• تقيس دراسة القبل والبعد نظرة ثانية مع المخرجات مقابل نظرة أولى بدونها، لا المخرجات وحدها.
• قد يتحقق الأشخاص الذين يعلمون أنهم موضع دراسة من النظام بعناية أكبر مما يفعلون في العمل.
• تُعدّ الإجابات المرجعية صحيحة. فإن جاءت من الأشخاص أنفسهم، أو من النظام، فإن الدراسة تقيس الاتفاق لا الدقة.
• قراءة القرارات من قائمة المراجعة المستضافة غير مبنية: صدّرها إلى الملف أعلاه.