Memilih di antara kandidat

oloproof select memilih versi terbaik dari beberapa versi sebuah sistem yang memenuhi setiap persyaratan, dan menyatakan terpisah apakah versi itu benar-benar unggul atas versi berikutnya. Gunakan bila Anda punya, misalnya, tiga agen, dua prompt, atau empat pengaturan retrieval, dan satu set persyaratan.

Mengapa tidak memilih angka terbaik

Memilih kandidat termurah yang angkanya melewati ambang punya dua masalah. Angka terukur 91% terhadap ambang 90% hanya satu poin di atasnya, di dalam derau seribu kasus. Dan saat Anda melihat beberapa kandidat, kandidat yang lolos karena keberuntungan justru yang Anda pilih. Jadi setiap kandidat harus lebih dulu membuktikan setiap aturan sendiri, dengan tingkat kepercayaan yang lebih ketat karena beberapa kandidat dilihat: dengan tiga kandidat dan kebijakan 95%, masing-masing diputuskan pada 98.33% (1 - 0.05/3). Hanya kandidat yang lolos setiap aturan yang diperingkat, dan kandidat yang lebih murah tidak pernah bisa menukar aturan keselamatan dengan biayanya.

Mendeklarasikan seleksi

Tulis file seleksi di samping proyek Anda, dan putuskan di bawah release.yaml proyek:

select:
  candidates:
    agent_a: run_01JC8Q2X7D
    agent_b: agent_b.yaml
    agent_c: agent_c.yaml
  objective:
    metric: cost_per_task
    direction: minimize

Kandidat adalah id run yang tersimpan, atau file proyek yang dijalankan oloproof select lebih dulu. Run yang bisa dipakai ulang tidak menimbulkan biaya baru. Kebijakan hanya boleh berisi aturan run, dan penghentian dini harus nonaktif.

oloproof select select.yaml
oloproof select select.yaml --save

--save juga menulis seleksi untuk workbench lokal, di bawah Candidates.

Membaca jawabannya

Ada tiga hasil:

• Satu kandidat terpilih dan keunggulannya atas peringkat kedua terbukti: perbandingan berpasangan keduanya pada tujuan adalah PASS.
• Satu kandidat terpilih dan keunggulannya tidak terbukti: peringkat kedua akan menjadi pilihan yang sama-sama dapat dipertahankan dengan bukti ini.
• Tidak ada kandidat yang memenuhi syarat: aturan setiap kandidat dicantumkan beserta jawabannya, sehingga Anda melihat apa yang kurang.

Perintah keluar dengan 0 saat satu kandidat terpilih dan 3 saat tidak ada yang memenuhi syarat.

Contoh lengkap

Tiga agen harus mencapai tingkat keberhasilan minimal 90% dan tingkat pelanggaran maksimal 1%; tujuannya adalah biaya per tugas terendah.

Masing-masing diputuskan pada 98.33%. Pada 1,000 kasus tidak ada agen yang memenuhi syarat: tingkat pelanggaran A belum terbukti di bawah 1%, 91% milik B terlalu dekat dengan 90% untuk terbukti, dan C melanggar batas atas pelanggaran. Jawabannya adalah "tidak ada kandidat yang memenuhi syarat", beserta apa yang kurang dari masing-masing. Pada 3,000 kasus A membuktikan kedua aturan dan terpilih. B lebih murah, tetapi keberhasilannya masih belum terbukti, jadi B tidak pernah diperingkat: memilih B berdasarkan angkanya berarti merilis persyaratan yang belum dibuktikan siapa pun.

Membagikan pilihan

oloproof select select.yaml --save menyimpan pilihan untuk workbench. oloproof push --selection ID mengirimkannya ke workspace yang di-host bersama run setiap kandidat, melalui kebijakan egress proyek; ID adalah nama folder di bawah .oloproof/bundles/ atau digest pilihan itu. Sebelum menyimpan pilihan, workspace membuatnya lagi dari run yang dimilikinya, di bawah kebijakan yang dipakai untuk memutuskan run itu, dan menyimpannya hanya jika hasilnya sama: pilihan yang hasil atau kalimatnya diubah, yang menyebut run yang tidak dimiliki proyek, atau yang tidak dibuat oleh engine dari run itu, ditolak, dan tidak ada yang disimpan. Jadi putuskan run para kandidat di bawah kebijakan pilihan itu sebelum Anda mengirimnya. Halaman Candidates proyek mencantumkannya, dan halamannya menampilkannya persis seperti workbench lokal.

Owner atau Admin dapat membuat halaman bukti darinya dari halaman pilihan: hasilnya, tingkatnya, dan untuk setiap kandidat nama, id run, dan aturannya pada tingkat yang dikoreksi, berlabel "Reported by the developer", tidak pernah isi sebuah kasus.

Berikutnya

• Aturan perbandingan membahas perbandingan berpasangan yang memutuskan keunggulan.
• Gating membahas aturan yang harus dipenuhi setiap kandidat.