Run terkelola

Run terkelola menjalankan suite Anda di worker Oloproof alih-alih di mesin Anda, dan Anda memantaunya dari halaman Jobs atau terminal. Anda hanya memerlukan oloproof login; tanpa koneksi database dan tanpa runner milik sendiri.

Apa yang dijalankan worker

Worker memanggil sistem Anda melalui HTTP. Deklarasikan dengan http: di oloproof.yaml (Konfigurasi):

system:
  name: support-bot
  version: v3
  http:
    url: https://support-bot.example.com/answer
    output_path: answer

Worker menolak:

• Sistem callable: atau rag:, sebelum job masuk antrean. Itu adalah kode Anda, dan worker Oloproof tidak menjalankan kode pelanggan; jalankan di mesin Anda sendiri (oloproof run) lalu push run-nya, atau di runner yang Anda operasikan.
• File jawaban recorded:. File itu tetap di mesin Anda; jalankan secara lokal dengan oloproof run.
• Alamat yang tidak berada di internet publik: localhost, nama satu label, alamat privat, link-local, atau metadata cloud. Setiap panggilan diperiksa saat dilakukan, sehingga kasus seperti itu menghasilkan error alih-alih mencapainya; worker hanya dapat menjangkau apa yang dapat dijangkau siapa pun di internet.
• Kasus serangan yang dihasilkan, kecuali oloproof.yaml mendeklarasikan adversarial: {sandboxed: true} (Menghasilkan serangan). --allow-adversarial hanya berlaku untuk run lokal.

Jalankan satu

oloproof login
oloproof run --cloud --max-runtime 900

run --cloud mengirim kasus suite Anda ke workspace (run terkelola tidak dapat menjalankan kasus yang tidak dimilikinya), lalu memasukkan job ke antrean dan mencetak tempat untuk memantaunya. Suite yang sudah dimiliki workspace secara utuh tidak dikirim lagi.

Worker memeriksa setiap kasus terhadap digest-nya sebelum menyimpan suite, dan menolak suite yang tidak cocok. Jadi run --cloud membuat digest kasus secara biasa, seperti yang dilakukan worker, bahkan dalam proyek yang memberi kunci pada digest-nya untuk menahan konten (egress:, Hasil dan eksekusi): kasus tetap dikirim utuh, jadi memberinya kunci tidak akan menyembunyikan apa pun. Karena itu suite run terkelola adalah suite yang berbeda dari suite yang dicatat oleh run lokal dari proyek yang sama. Proyek yang workspace-nya sudah menyimpan bukti berkunci (dari push) ditolak: jalankan dengan oloproof run lalu push run tersebut.

--max-runtime adalah batas waktu job dalam detik, hingga satu hari, atau batas paket Anda jika lebih kecil. budget: di oloproof.yaml berlaku di worker sama seperti secara lokal.

Siapa yang boleh menjalankannya: Owner, Admin, atau Member workspace. Reviewer tidak boleh.

Pantau

Halaman Jobs proyek menampilkan kasus setiap job saat tiba: berapa yang sudah dijalankan dan dinilai, hitungan lulus dan gagal per pemeriksaan, dan kasus terbaru. Hitungan itu adalah hitungan sejauh ini, bukan hasil. Keputusan diambil setelah seluruh run tersimpan, lalu halamannya menampilkannya.

Di terminal:

oloproof job JOB_ID --follow

mencetak hitungan yang sama setiap beberapa detik, lalu gate run, dan keluar dengan kode keluar gate, sehingga pipeline dapat menunggu run terkelola seperti menunggu run lokal (CI). Tanpa --follow, job melapor sekali; job yang masih berjalan keluar dengan 2, karena belum menjadi keputusan. --cancel menghentikan job yang mengantre seketika dan job yang berjalan sebelum panggilan berikutnya, dengan mempertahankan kasus yang sudah selesai.

Kunci untuk juri

Juri atau sistem yang memanggil penyedia model memerlukan kuncinya di worker. Simpan sekali:

export OPENAI_API_KEY=...
oloproof credentials set OPENAI_API_KEY
oloproof credentials list

Kunci dibaca dari environment atau input standar, tidak pernah dari baris perintah. Kunci dienkripsi oleh worker dan hanya dapat dibaca oleh worker yang menjalankan job workspace ini; tidak ada yang dapat membacanya kembali, dan credentials list hanya menampilkan nama. api_key_env: OPENAI_API_KEY milik evaluator kemudian menemukannya. Job terkelola tidak membaca variabel environment lain. Hanya Owner atau Admin yang boleh menyimpan kunci.

Apa yang tidak dapat diberitahukan

• Apakah sistem Anda berperilaku sama dari jaringan Oloproof seperti dari jaringan Anda. Worker memanggil endpoint Anda dari internet publik; batas laju, region, dan daftar izin yang memperlakukannya secara berbeda mengubah apa yang diukurnya.
• Apa pun tentang kode yang tidak dijalankan worker. Run terkelola mengukur endpoint yang Anda sebutkan, bukan kode di baliknya.

Setiap batasan lain di Apa yang tidak dapat diberitahukan oleh evaluasi juga berlaku di sini.