Yönetilen çalıştırmalar

Yönetilen bir çalıştırma, suite'inizi kendi makineniz yerine Oloproof'un worker'larında yürütür ve siz onu Jobs sayfasından ya da terminalinizden izlersiniz. Yalnızca oloproof login gerekir; veritabanı bağlantısı ya da kendinize ait bir runner gerekmez.

Bir worker neyi çalıştırır

Bir worker sisteminizi HTTP üzerinden çağırır. Onu oloproof.yaml içinde http: ile tanımlayın (Yapılandırma):

system:
  name: support-bot
  version: v3
  http:
    url: https://support-bot.example.com/answer
    output_path: answer

Bir worker şunları reddeder:

• Bir callable: ya da rag: sistemini, job kuyruğa alınmadan önce. Bu sizin kodunuzdur ve Oloproof'un worker'ları müşteri kodu çalıştırmaz; onu kendi makinenizde (oloproof run) çalıştırıp çalıştırmayı gönderin ya da işlettiğiniz bir runner üzerinde çalıştırın.
• Bir recorded: yanıt dosyasını. Dosya makinenizde kalır; onu oloproof run ile yerel olarak çalıştırın.
• Genel internette olmayan bir adresi: localhost, tek etiketli bir ad, özel, link-local ya da bulut meta veri adresi. Her çağrı yapıldığı anda denetlenir, bu yüzden böyle bir vaka adrese ulaşmak yerine hata verir; bir worker yalnızca internetteki herkesin ulaşabildiğine ulaşabilir.
• Üretilmiş saldırı vakalarını, oloproof.yaml adversarial: {sandboxed: true} tanımlamadıkça (Saldırı üretme). --allow-adversarial yalnızca yerel bir çalıştırmayı kapsar.

Bir tane çalıştırın

oloproof login
oloproof run --cloud --max-runtime 900

run --cloud, suite'inizin vakalarını workspace'e gönderir (yönetilen bir çalıştırma elinde olmayan vakaları yürütemez), ardından job'u kuyruğa alır ve nereden izleneceğini yazdırır. Workspace'in zaten tamamını tuttuğu bir suite yeniden gönderilmez.

Worker, suite'i saklamadan önce her vakayı kendi özetiyle karşılaştırır ve eşleşmeyeni reddeder. Bu yüzden run --cloud, içeriği saklı tutmak için özetlerini anahtarlayan bir projede bile (egress:, Sonuçlar ve yürütme) vakaların özetlerini worker'ın yaptığı gibi anahtarsız hesaplar: vakalar zaten tamamen gönderilir, dolayısıyla anahtarlamak hiçbir şeyi gizlemez. Bu nedenle yönetilen çalıştırmanın suite'i, aynı projenin yerel bir çalıştırmasının kaydettiği suite'ten farklı bir suite'tir. Workspace'i zaten (bir push'tan gelen) anahtarlı kanıt tutan bir proje reddedilir: onu oloproof run ile çalıştırın ve çalıştırmayı push edin.

--max-runtime, job'un saniye cinsinden süre sınırıdır; en fazla bir gün ya da daha azsa planınızın sınırı. oloproof.yaml içindeki bir budget:, worker'da da yerelde olduğu gibi bağlayıcıdır.

Kimler çalıştırabilir: workspace'in bir Owner'ı, Admin'i ya da Member'ı. Bir Reviewer çalıştıramaz.

İzleyin

Projenin Jobs sayfası her job'un vakalarını geldikçe gösterir: kaçının çalıştırılıp değerlendirildiğini, her denetim için geçen ve kalan sayısını ve en son vakaları. Bu sayım şimdiye kadarki durumdur, bir sonuç değildir. Kararlar, çalıştırmanın tamamı saklandığında verilir ve ardından çalıştırmanın sayfası onları gösterir.

Terminalde:

oloproof job JOB_ID --follow

aynı sayıları birkaç saniyede bir yazdırır, ardından çalıştırmanın gate'ini gösterir ve gate'in çıkış koduyla çıkar; böylece bir pipeline yönetilen bir çalıştırmayı yerel bir çalıştırma gibi bekleyebilir (CI). --follow olmadan job bir kez raporlar; hâlâ çalışan bir job 2 ile çıkar, çünkü henüz bir karar değildir. --cancel, kuyruktaki bir job'u hemen, çalışan bir job'u ise bir sonraki çağrısından önce durdurur ve biten vakaları korur.

Bir yargıç için anahtarlar

Bir yargıç ya da bir model sağlayıcısını çağıran bir sistem, anahtarının worker'da olmasına ihtiyaç duyar. Onu bir kez saklayın:

export OPENAI_API_KEY=...
oloproof credentials set OPENAI_API_KEY
oloproof credentials list

Anahtar ortamdan ya da standart girdiden okunur, asla komut satırından okunmaz. Worker tarafından şifrelenir ve yalnızca bu workspace'in job'larını çalıştıran bir worker tarafından okunabilir; kimse onu geri okuyamaz ve credentials list yalnızca adları gösterir. Bir değerlendiricinin api_key_env: OPENAI_API_KEY ayarı onu bu şekilde bulur. Yönetilen bir job başka hiçbir ortam değişkenini okumaz. Anahtarı yalnızca bir Owner ya da Admin saklayabilir.

Bunun size söyleyemeyecekleri

• Sisteminizin Oloproof'un ağından da sizin ağınızdan olduğu gibi davranıp davranmadığı. Bir worker uç noktanızı genel internetten çağırır; ona farklı davranan hız sınırları, bölgeler ve izin listeleri ölçtüğü şeyi değiştirir.
• Bir worker'ın çalıştırmadığı kod hakkında herhangi bir şey. Yönetilen bir çalıştırma, belirttiğiniz uç noktayı ölçer, arkasındaki kodu değil.

Bir değerlendirmenin size söyleyemeyecekleri sayfasındaki diğer tüm sınırlar burada da geçerlidir.