Perbandingan
Oloproof dibandingkan pengujian prompt ad hoc.
Memeriksa sekilas di playground itu cepat dan sungguh berguna selama Anda bereksplorasi. Cara itu tidak lagi cukup begitu sebuah perubahan sampai ke pengguna.
| Pertanyaan | Pemeriksaan sekilas di playground | Oloproof |
|---|---|---|
| Apakah kualitasnya berubah? | Kesan dari segelintir output | Selisih dengan interval 95% atas kasus berpasangan, dan keputusan yang diambil berdasarkan interval itu |
| Berubah bagi siapa? | Tidak diketahui | Per slice yang dideklarasikan: bahasa, intent atau kunci metadata apa pun, alat pertama yang dipanggil agen, rutenya |
| Bisakah dijalankan ulang kuartal depan? | Tidak: prompt dan kasusnya sudah hilang | Ya: suite, versi sistem, dan versi evaluator dialamatkan berdasarkan konten, dan sampel menyimpan seed-nya |
| Apakah ini memblokir rilis yang buruk? | Hanya jika seseorang ingat untuk memeriksa | Gerbang keluar dengan kode bukan nol dan job CI gagal: 1 saat sebuah aturan gagal, 3 saat bukti tidak dapat memutuskan |
| Apa yang Anda tunjukkan kepada tim risiko atau pelanggan? | Tangkapan layar di sebuah utas | Bundel yang diekspor: eksekusi, suite-nya, sistem, evaluator, kasus, dan persetujuannya |
| Waktu hingga sinyal pertama | Beberapa menit | Beberapa menit secara lokal, lalu pada setiap perubahan tempat CI Anda menjalankannya |
Kapan pemeriksaan sekilas masih unggul
Eksplorasi awal, men-debug satu output yang aneh, dan pemeriksaan kewajaran saat Anda menulis prompt. Teruskan saja. Suite evaluasi adalah yang Anda bangun begitu perilakunya cukup penting untuk dipertahankan.