Skip to content

RAG ve getirme ekipleri için

İndeks değişikliğinizin ne yaptığını bilin.

Getirme değişiklikleri kaliteyi, bir parçalama diff’inin gösteremeyeceği şekillerde oynatır. Oloproof RAG sisteminizi görebildiği iki aşama olarak çalıştırır ve getirmeyi, alıntıları, dayanaklılığı ve yanıt doğruluğunu aynı vakalar üzerinde, önce ve sonra ölçer.

Ölç

Getirmeyi bilen değerlendiriciler

Seçtiğiniz kesme noktasında isabet oranı, recall, MRR ve nDCG, kaydedilen adaylardan okunur; modele verilen bağlama göre alıntı geçerliliği; bu bağlamı okuyan dayanaklılık ve alıntı desteği hakemleri. Retriever’ın döndürdüğünden daha derin bir kesme noktası ıska olarak puanlanmaz, reddedilir.

Ayır

Her seferinde bir aşama

Her aşama ayrı önbelleğe alınır, bu yüzden bir prompt değişikliği asla yeniden arama yapmaz. Teşhis, başarısız vakaları bir kontrolün yanında doğru pasajla yeniden çalıştırır ve her birini getirme ıskası, sıralama dışı kalma, bağlamdan düşme ya da üretim hatası olarak etiketler.

Karar ver

Kapı aralığa göre

Aday ve temel sürüm, bildirdiğiniz marjlara karşı vaka vaka eşleştirilir. Bir kural yalnızca aralığı marjı aştığında geçer; karar verilemeyecek kadar geniş bir aralık, sürümü yetersiz kanıt olarak durdurur ve kanıt kararın yanında saklanır.

Gerçek bir sonuç

Canlı bir RAG doküman asistanı · reranking açık ile reranking kapalı · 58 soru · kendi çalıştırmamız, 22 Eylül 2026

1. sırada doğru sayfa

+6.2 puan

[−36.3, +45.5] · 48 eşleştirilmiş · belirsiz

İlk 3’te doğru sayfa

+3.7 puan

[−73.9, +76.2] · 27 eşleştirilmiş · belirsiz

Yanıt doğru

+6.5 puan

[−39.4, +48.4] · 46 eşleştirilmiş · belirsiz

Nokta tahminlerine bakıldığında reranker, 1. sırada doğru sayfa metriğine 12,7 puan ekliyordu ve yayına alınacaktı. İki kolun da yanıtladığı sorularda eşleştirildiğinde her aralık sıfırı kesiyor: bu panel reranker’ın yardımcı mı yoksa zararlı mı olduğunu söyleyemez ve Oloproof bir kazanan seçmek yerine bunu söyler. Saha raporunu okuyun.