المراجعة البشرية

يستطيع فريقك أن يَسِم إجابات نظامك في Oloproof، ويمكن لوسومهم أن تحسم إصدارًا وحدها أو أن تتحقق من الحَكَم الذي يحسمه. تجمع هذه الصفحة ما هو موجود، وأين يُشرح كل جزء بالتفصيل.

ما يستطيع الناس وسمه

• نجاح أو إخفاق أو تعذّر الحكم على معيار واحد، حالةً حالة.
• درجة على مقياس تختاره، مثل من 1 إلى 5.
• تفضيل بين إجابتَي تشغيلين على الحالة نفسها، تُعرضان بوصفهما A وB بترتيب تثبّته مساحة العمل برمية عملة مسجّلة، فلا يستطيع المراجع أن يعرف أيّ تشغيل هو أيّ.
• نجاح أو إخفاق على الإجابتين كلتيهما للحالة نفسها، لمقارنة نسختين بحكم الناس.

يُعرض بجانب كل حالة معيار تقييم مكتوب للطابور.

أين يَسِمون

في المتصفح. في مساحة عمل مستضافة، يفتح صاحب دور Owner أو Admin طابور مراجعة من صفحة Review في المشروع ويعيّن المراجعين. يرى كل مراجع الطوابير المعيّنة له ويَسِم بالأزرار أو بالمفاتيح P وF وC. يُرفض الحكم الصادر عن حساب غير معيّن للطابور، ويُسجَّل كل حكم باسم حساب المراجع نفسه.

في الطرفية. يَسِم الأمر oloproof review RUN --criterion NAME --by YOU حالة واحدة في كل سطر. ومن دون أي خيار آخر يتحقق من الحَكَم دفعة واحدة: عيّنة عمياء يحدد حجمَها حدُّك، والحَكَم مقيسًا على وسومك، والتشغيل محسومًا من جديد.

في جدول بيانات. يكتب oloproof labels export RUN --criterion NAME --sample 50 ملف CSV ليملأه الناس، ويسجّل oloproof labels import كل الصفوف المملوءة أو لا شيء منها. استخدمه للمراجعين الذين يعملون خارج Oloproof، ومنهم مورّد وسم. تُحتسب الوسوم الآتية من ملف على جهازك، لا في تحقق مساحة العمل من عيّنة سحبتها بنفسها.

تشغيل طابور

حين يفتح Owner أو Admin طابورًا، يتلقى كل مراجع بريدًا بأنه عُيّن، ما لم يكن قد أوقف رسائل المراجعة. يمكن أن يحمل الطابور موعدًا نهائيًا يظهر على الطابور وفي البريد؛ لا يقرر شيئًا، ولا يُرسل شيء حين يمر. في صفحة الطابور يرى الـOwner والـAdmin تقدّم كل مراجع (الحالات المنجزة وآخر حكم له) ويمكنهم تغيير الموعد النهائي.

يمكن تغيير مراجعي طابور المراجعة في أي وقت، ويتلقى كل من يُضاف بريدًا. أما مراجعو طابور القياس فلا: فهم جزء من عينته العشوائية، ولا تُحتسب فيه إلا وسومهم، لذا يأخذ مراجعون آخرون طابورًا جديدًا بعينته الخاصة.

نوعان من الطوابير

طابور القياس يجعل مساحة العمل تسحب عيّنة عشوائية ويخفي حكم الحَكَم. وسومه تقيس الحَكَم، أو تحسم قاعدة بالناس وحدهم. طابور مراجعة الحالات المُعلَّمة يعرض حكم الحَكَم ويحسم تلك الحالات دون أن يقيس شيئًا. النوع الأول وحده يمكن أن يمثّل الحزمة كلها.

حين يختلف المراجعون

يمكن للمشروع أن يشترط مراجعَين أو أكثر لكل حالة في العيّنة، يُعدّون بالحسابات. وحين يختلفون على النجاح أو الإخفاق، لا تحسم مساحة العمل شيئًا حتى يحسمها Owner أو Admin لم يَسِم شيئًا من تلك الحالة، في صفحة الطابور أو صفحة التشغيل. ويُعرض بجانب كل مُقيِّم مدى اتفاق الناس فيما بينهم، بوصفه نسبة أزواج المراجعين الذين اتفقوا، مع مجاله، وبوصفه ألفا كريبندورف، التي تصحّح تلك النسبة من الاتفاق الذي تعطيه الصدفة وحدها في معيار تنجح فيه معظم الإجابات: 1 اتفاق تام و0 صدفة. وتُعطى ألفا مع مجال ابتداءً من 300 حالة وسمها شخصان أو أكثر؛ ودون ذلك تُعرض وحدها مع السبب. وهي لا تحسم شيئًا.

يمكن بدلًا من ذلك قراءة طابور قياس للنجاح أو الإخفاق فيه ثلاثة مراجعين أو أكثر بالأغلبية، ويُختار ذلك عند فتحه. الحكم الأول لكل مراجع هو صوته؛ وتُحتسب الحالة متى اتفق أكثر من نصف مراجعيها، ويبقى التعادل منتظرًا حتى يحسمه Owner أو Admin. وتُقرأ طوابير النجاح أو الإخفاق لتشغيل واحد على معيار واحد كلها بالطريقة نفسها.

أما الدرجات والتفضيلات والنجاح أو الإخفاق على تشغيلين فلا تحتاج إلى هذا الاختيار: قيمة كل حالة هي المتوسط على كل مراجع وسمها، فيحرّك الخلاف القيمة بدلًا من أن ينتظر الحسم، ويكون المراجع المتشدد أو المتساهل جزءًا مما تقيسه الإجابة.

وسوم من مورّد

يمكن أن يَسِم طابورَ قياس للنجاح أو الإخفاق أو للدرجات مقيّمو مورّدٍ بدلًا من الأعضاء. افتحه بخيار "يَسِمه مورّد" مع أسماء المقيّمين. وفي صفحة الطابور نزّل الورقة (صف لكل حالة مسحوبة ولكل مقيّم، يُملأ بالنجاح أو الإخفاق، أو بدرجة على مقياس الطابور)، وسلّمها إلى المورّد مع الإجابات التي ينبغي عرضها، ثم ارفع ملف CSV أو XLSX المُعاد. يُفحص كل صف: حالة لم يسحبها الطابور، أو مقيّم لا يسمّيه، أو حكم ثانٍ من مقيّم واحد على حالة واحدة، كل ذلك يرفض الملف كله.

يُعدّ كل مقيّم بعد ذلك مراجعًا باسمه، فيقرؤه الاتفاق وألفا والدقة على مفاتيح الإجابة والأغلبية جميعًا. ضع مفتاحًا لبضع حالات أولًا لتتحقق من مقيّمي المورّد قبل أن تعتمد عليهم؛ تُعرض دقتهم ولا تحسم شيئًا. تعرف مساحة العمل الملف الذي أُعطيته، لا من نظر فيه: كل وسم يسمّي الحساب الذي رفعه.

مفاتيح الإجابة ودقة المراجعين

يمكن لـ Owner أو Admin وضع مفتاح لبعض حالات طابور النجاح أو الإخفاق: افتح حالة وضع مفتاحها نجاحًا أو إخفاقًا. لا يرى المفاتيح إلا Owner أو Admin لا يكلّفه الطابور، فلا يعرف المراجعون أي الحالات لها مفتاح. ثم تعرض صفحة المراجعة على Owners وAdmins نسبة إجابات كل مراجع ذات المفتاح التي طابقت المفتاح، مع فترتها، والأمر نفسه حسب الشهر.

يُحتسب أول نجاح أو إخفاق يعطيه المراجع للإجابة ذات المفتاح؛ ويُعرض «لا يمكن الحكم» بجانبه، وتُستبعد الحسومات وأحكام واضع المفتاح نفسه، والمفتاح يخص إجابة واحدة، فلا يُقارن حكم على إجابة تشغيل آخر للحالة نفسها. المفتاح ليس تسمية أبدًا ولا يقرر شيئًا. تقرأ الفترة الحالات ذات المفاتيح على أنها عينة عشوائية من حالات مماثلة؛ والمفاتيح المختارة يدويًا ليست كذلك، فاقرأها على أنها الدقة على هذه الحالات.

وسوم الناس تحسم الإصدار

• human_score: الدرجة التي يعطيها الناس للحزمة كلها، من الحالات التي قيّموها.
• human_preference: هل يفضّل الناس المرشّح على خط الأساس، وبأي قدر.
• human_difference: بأي قدر يُنجح الناس المرشّح أكثر من خط الأساس.
• judge_bias_bar: المقارنة التي يحسمها حَكَم تذهب إلى شخص ما لم تُظهر وسوم الناس أن الحَكَم يعامل النسختين بالطريقة نفسها.

يُعلَن كلٌّ منها في release.yaml أو compare.yaml، ويُشرح مع طريقته وما لا يستطيع ادعاءه في الحُكّام. الحالة التي لم يَسِمها أحد تُحتسب بأسوأ قيمة لها، فترك الحالات الصعبة بلا وسم لا يفيد أبدًا.

لم يُبنَ بعد

هذه ليست موجودة اليوم:

• مورّد يَسِم طابور مراجعة، أو تفضيلات، أو النجاح أو الإخفاق على تشغيلين: كل واحد من هذه يعرض على المراجع إجابتين بترتيب تثبّته مساحة العمل لكل مراجع، وهو ما لا يستطيع ملف يُعدّ خارج Oloproof أن يحافظ عليه.

لا يوفّر Oloproof مراجعين ولا يتصل بأدوات المورّد الخاصة.