RAG ve getirme ekipleri için
İndeks değişikliğinizin ne yaptığını bilin.
Getirme değişiklikleri kaliteyi, bir parçalama diff’inin gösteremeyeceği şekillerde oynatır. Oloproof RAG sisteminizi görebildiği iki aşama olarak çalıştırır ve getirmeyi, alıntıları, dayanaklılığı ve yanıt doğruluğunu aynı vakalar üzerinde, önce ve sonra ölçer.
Ölç
Getirmeyi bilen değerlendiriciler
Seçtiğiniz kesme noktasında isabet oranı, recall, MRR ve nDCG, kaydedilen adaylardan okunur; modele verilen bağlama göre alıntı geçerliliği; bu bağlamı okuyan dayanaklılık ve alıntı desteği hakemleri. Retriever’ın döndürdüğünden daha derin bir kesme noktası ıska olarak puanlanmaz, reddedilir.
Ayır
Her seferinde bir aşama
Her aşama ayrı önbelleğe alınır, bu yüzden bir prompt değişikliği asla yeniden arama yapmaz. Teşhis, başarısız vakaları bir kontrolün yanında doğru pasajla yeniden çalıştırır ve her birini getirme ıskası, sıralama dışı kalma, bağlamdan düşme ya da üretim hatası olarak etiketler.
Karar ver
Kapı aralığa göre
Aday ve temel sürüm, bildirdiğiniz marjlara karşı vaka vaka eşleştirilir. Bir kural yalnızca aralığı marjı aştığında geçer; karar verilemeyecek kadar geniş bir aralık, sürümü yetersiz kanıt olarak durdurur ve kanıt kararın yanında saklanır.
Gerçek bir sonuç
1. sırada doğru sayfa
+6.2 puan
[−36.3, +45.5] · 48 eşleştirilmiş · belirsiz
İlk 3’te doğru sayfa
+3.7 puan
[−73.9, +76.2] · 27 eşleştirilmiş · belirsiz
Yanıt doğru
+6.5 puan
[−39.4, +48.4] · 46 eşleştirilmiş · belirsiz
Nokta tahminlerine bakıldığında reranker, 1. sırada doğru sayfa metriğine 12,7 puan ekliyordu ve yayına alınacaktı. İki kolun da yanıtladığı sorularda eşleştirildiğinde her aralık sıfırı kesiyor: bu panel reranker’ın yardımcı mı yoksa zararlı mı olduğunu söyleyemez ve Oloproof bir kazanan seçmek yerine bunu söyler. Saha raporunu okuyun.