Adaylar arasından seçim

oloproof select, bir sistemin birkaç sürümü arasından her gereksinimi karşılayan en iyisini seçer ve bir sonrakinin gerçekten önünde olup olmadığını ayrıca söyler. Örneğin üç ajanınız, iki istem veya dört erişim ayarınız ve tek bir gereksinim kümeniz olduğunda kullanın.

Neden en iyi sayıları seçmiyoruz

Sayıları eşikleri geçen en ucuz adayı seçmenin iki sorunu var. %90 eşiğine karşı ölçülen %91, bin vakanın gürültüsü içinde, yalnızca bir puan yukarıdadır. Ve birkaç adaya baktığınızda, eşiği şansla geçen aday seçtiğiniz aday olur. Bu yüzden her aday önce her kuralı kendi başına kanıtlamalıdır; birkaçına bakıldığı için daha katı bir güven düzeyiyle: üç aday ve %95'lik bir politikayla her biri 98.33% (1 - 0.05/3) düzeyinde karara bağlanır. Yalnızca her kuralı geçen adaylar sıralanır ve daha ucuz bir aday bir güvenlik kuralını asla maliyetiyle takas edemez.

Bir seçim bildirmek

Projenizin yanına bir seçim dosyası yazın ve onu projenin release.yaml dosyasına göre karara bağlayın:

select:
  candidates:
    agent_a: run_01JC8Q2X7D
    agent_b: agent_b.yaml
    agent_c: agent_c.yaml
  objective:
    metric: cost_per_task
    direction: minimize

Bir aday, saklanmış bir çalıştırma kimliği ya da oloproof select komutunun önce çalıştırdığı bir proje dosyasıdır. Yeniden kullanabildiği bir çalıştırma yeni bir maliyet getirmez. Politika yalnızca çalıştırma kuralları içerebilir ve erken durdurma kapalı olmalıdır.

oloproof select select.yaml
oloproof select select.yaml --save

--save seçimi ayrıca yerel workbench için, Candidates altına yazar.

Yanıtı okumak

Üç sonuç vardır:

• Bir aday seçilir ve ikinciye karşı önü kanıtlanmıştır: ikisinin hedef üzerindeki eşleştirilmiş karşılaştırması PASS olur.
• Bir aday seçilir ve önü kanıtlanmamıştır: bu kanıtlarla ikinci aday da aynı ölçüde savunulabilir bir seçim olurdu.
• Hiçbir aday nitelik kazanmaz: her adayın kuralları yanıtlarıyla listelenir, böylece neyin eksik olduğunu görürsünüz.

Komut, bir aday seçildiğinde 0, hiçbiri nitelik kazanmadığında 3 ile çıkar.

Çözümlü bir örnek

Üç ajan en az %90 başarı oranına ve en fazla %1 ihlal oranına ulaşmalıdır; hedef, görev başına en düşük maliyettir.

Her biri 98.33% düzeyinde karara bağlanır. 1,000 vakada hiçbir ajan nitelik kazanmaz: A'nın ihlal oranının %1'in altında olduğu henüz gösterilmemiştir, B'nin %91'i kanıtlanamayacak kadar %90'a yakındır ve C ihlal tavanını aşar. Yanıt, her birinde neyin eksik olduğuyla birlikte "hiçbir aday nitelik kazanmıyor" olur. 3,000 vakada A iki kuralı da kanıtlar ve seçilir. B daha ucuzdur ama başarısı hâlâ kanıtlanmamıştır, bu yüzden asla sıralanmaz: B'yi sayılarına bakarak seçmek, kimsenin göstermediği bir gereksinimi yayına almak olurdu.

Bir seçimi paylaşmak

oloproof select select.yaml --save seçimi workbench için saklar. oloproof push --selection ID onu her adayın çalıştırmasıyla birlikte, projenin egress politikası üzerinden barındırılan çalışma alanına gönderir; ID, .oloproof/bundles/ altındaki klasör adı ya da seçimin digest değeridir. Çalışma alanı seçimi saklamadan önce, tuttuğu çalıştırmalardan, bu çalıştırmaların karara bağlandığı politika altında seçimi yeniden yapar ve yalnızca sonuç aynıysa saklar: sonucu ya da cümleleri düzenlenmiş, projenin tutmadığı bir çalıştırmayı adlandıran veya motorun bu çalıştırmalardan yapmadığı bir seçim reddedilir ve hiçbir şey saklanmaz. Bu yüzden adayların çalıştırmalarını göndermeden önce seçimin politikası altında karara bağlayın. Projenin Candidates sayfası onu listeler, kendi sayfası da onu yerel workbench ile tam olarak aynı şekilde gösterir.

Bir Owner ya da Admin, seçimin sayfasından onun bir kanıt sayfasını oluşturabilir: sonuç, düzey ve her aday için adı, çalıştırma kimliği ve düzeltilmiş düzeydeki kuralları, "Reported by the developer" etiketiyle; bir vakanın içeriği asla.

Sonraki

• Karşılaştırma kuralları, önün karara bağlandığı eşleştirilmiş karşılaştırmayı anlatır.
• Gating, her adayın tabi olduğu kuralları anlatır.