Pendapat kedua
Skor eval Anda naik. Apakah itu nyata?
Unggah skor per kasus yang diberikan alat lain kepada sistem Anda sebelum dan sesudah sebuah perubahan. Oloproof mengatakan apakah kenaikannya nyata, berapa banyak kasus tambahan yang akan memastikannya, dan apakah ada yang sudah memeriksa judge yang memberi skor tersebut. Tanpa akun, tanpa instalasi.
Isi sebuah file
| Kolom | Isinya |
|---|---|
| case_id | Id kasus. Kedua file hanya dipasangkan pada id yang ada di keduanya. |
| criterion | Nama metrik. |
| score | Angka pada skala metrik, atau kosong jika alat tidak memberi skor pada kasus itu. |
| passed | true atau false sebagai ganti skor, atau kosong. |
| score_min, score_max | Skala tempat skor berada (0 dan 1 untuk sebagian besar alat), wajib untuk skor. |
| judge, judge_version | Model yang menilai, jika penilainya model. Opsional. |
Skrip singkat mengubah hasil setiap alat menjadi file ini: DeepEval, Braintrust, LangSmith, dan Langfuse. Resep untuk setiap alat
Apa yang terjadi pada file
Diperiksa di browser Anda. File dengan kolom di luar ini ditolak sebelum apa pun dikirim, sehingga tidak ada pertanyaan atau jawaban yang pernah meninggalkan mesin Anda.
Diputuskan oleh engine. Engine yang sama yang dijalankan oloproof scores import: setiap file menjadi sebuah run, keduanya dibandingkan kasus demi kasus, dan setiap kriteria diuji untuk kenaikan di atas nol.
Tidak disimpan di mana pun. File dan run berada di penyimpanan sementara, yang dihapus sebelum jawabannya kembali. Hingga 2 MB dan 20.000 skor per file.