لفرق RAG والاسترجاع
اعرف ما الذي فعله تغيير الفهرس.
تحرّك تغييرات الاسترجاع الجودة بطرق لا يستطيع diff للتقطيع أن يُظهرها. يشغّل Oloproof نظام RAG لديك بوصفه مرحلتين يستطيع رؤيتهما، ويقيس الاسترجاع والاستشهادات والاستناد وصحة الإجابات على الحالات نفسها، قبل وبعد.
قِس
مقيّمون يفهمون الاسترجاع
معدل الإصابة والاستدعاء وMRR وnDCG عند حد القطع الذي تختاره، مقروءة من المرشحين المسجَّلين؛ وصلاحية الاستشهادات مقابل السياق الذي أُعطي للنموذج؛ ومحكّمو الاستناد ودعم الاستشهاد الذين يقرؤونه. حد القطع الأعمق مما أعاده المسترجِع يُرفض، ولا يُحتسب إخفاقًا.
اعزل
مرحلة واحدة في كل مرة
تُخزَّن كل مرحلة مؤقتًا على حدة، فلا يعيد تغيير الموجّه البحث أبدًا. يعيد التشخيص تشغيل الحالات الفاشلة بالمقطع الصحيح إلى جانب مجموعة ضابطة، ويصنّف كلًّا منها إخفاقًا في الاسترجاع، أو خارج الترتيب، أو سقوطًا من السياق، أو إخفاقًا في التوليد.
قرّر
البوابة بالفترة
يُقرن المرشح وخط الأساس حالةً بحالة مقابل الهوامش التي تعلنها. لا تنجح القاعدة إلا حين تتجاوز فترتها الهامش؛ والفترة الأعرض من أن تحسم توقف الإصدار بوصفه أدلة غير كافية، مع حفظ الأدلة بجانب القرار.
نتيجة حقيقية
الصفحة الصحيحة في المرتبة 1
+6.2 نقطة
[−36.3, +45.5] · 48 مقترنة · غير محسوم
الصفحة الصحيحة ضمن أول 3
+3.7 نقطة
[−73.9, +76.2] · 27 مقترنة · غير محسوم
الإجابة صحيحة
+6.5 نقطة
[−39.4, +48.4] · 46 مقترنة · غير محسوم
بقراءة التقديرات النقطية، أضاف معيد الترتيب 12.7 نقطة إلى مقياس الصفحة الصحيحة في المرتبة 1 وكان سيُطلق. وبالاقتران على الأسئلة التي أجاب عنها الذراعان، تعبر كل فترة الصفر: هذه اللوحة لا تستطيع أن تقول هل معيد الترتيب يفيد أم يضر، ويقول Oloproof ذلك بدلًا من اختيار فائز. اقرأ التقرير الميداني.