İkinci görüş

Eval puanınız yükseldi. Gerçek mi?

Başka bir aracın bir değişiklikten önce ve sonra sisteminize verdiği vaka bazlı puanları yükleyin. Oloproof artışın gerçek olup olmadığını, onu karara bağlamak için kaç vaka daha gerektiğini ve bu puanları veren hakemi birinin kontrol edip etmediğini söyler. Hesap yok, kurulacak bir şey yok.

Bir dosya neler içerir

Sütun	Ne içerir
case_id	Vakanın kimliği. İki dosya yalnızca ikisinde de bulunan bir kimlik üzerinden eşleşir.
criterion	Metriğin adı.
score	Metriğin ölçeğinde bir sayı ya da araç o vakayı puanlamadıysa boş.
passed	Puan yerine true ya da false, veya boş.
score_min, score_max	Puanın bulunduğu ölçek (çoğu araçta 0 ve 1), puan için zorunlu.
judge, judge_version	Değerlendirmeyi bir model yaptıysa, o model. İsteğe bağlı.

Kısa bir betik her aracın sonuçlarını bu dosyaya dönüştürür: DeepEval, Braintrust, LangSmith ve Langfuse. Her araç için tarifler

Dosyalara ne olur

Tarayıcınızda kontrol edilir. Bunların dışında bir sütun içeren dosya, herhangi bir şey gönderilmeden reddedilir; böylece hiçbir soru ya da yanıt makinenizden asla çıkmaz.

Motor karar verir. oloproof scores import komutunun çalıştırdığı motorun ta kendisi: her dosya bir çalıştırma olur, ikisi vaka vaka karşılaştırılır ve her ölçüt sıfırın üzerinde bir artış için test edilir.

Hiçbir yerde saklanmaz. Dosyalar ve çalıştırmalar geçici bir depoda durur ve yanıt dönmeden önce silinir. Dosya başına en fazla 2 MB ve 20.000 puan.