Kılavuzlar
Bir değerlendirmenin size söyleyemeyecekleri
Her Oloproof sonucu, sınırları belirtilmiş ölçülmüş bir iddiadır. Bu sayfa her tür sistem için geçerli olan sınırları listeler; sistem türüne göre her rehber sayfası kendi sınırlarını "Bunun size söyleyemeyecekleri" altında ekler.
Hiçbir sonucun söylemedikleri
- Paketten farklı girdiler. Bir karar, paketin örneklediği popülasyon hakkında bir iddiadır ve ancak paket sisteminizin karşılaşacaklarının adil bir örneği olduğu ölçüde iyidir. Oloproof bunu denetleyemez; yeni bir girdi türü ya da gelecek ayın trafiği bunun dışında kalır (Bir sonuç ne kadar uzanır).
- Bir denetimin asla başarısız olamayacağı. 300 vakanın hepsinde geçen bir denetim ne sıklıkla başarısız olduğunu sınırlar (%95 güvenle en fazla yaklaşık %1,2); bir kanıt değildir.
- Sisteminizin bir dahaki sefere nasıl yanıt vereceği. Bir çalıştırma, replicates: istemediğiniz sürece vaka başına bir yanıt ölçer (Paket yazma).
- Denetlenmemiş bir hakemin puanlarının ne anlama geldiği. İnsanların etiketleriyle hiç karşılaştırılmamış bir hakem UNVALIDATED kalır ve geçme oranı hakemin görüşüdür. require_validated_evaluators: true içeren bir politika onun karar vermesine izin vermez (Hakemler).
- "Henüz kanıtlanmadı" dediğinde bir kuralın başarısız olduğu. INSUFFICIENT_EVIDENCE, aralığın hâlâ eşiğin iki yanına uzandığı anlamına gelir, sistemin eşiği kaçırdığı anlamına gelmez; oloproof plan kaç vaka daha gerektiğini söyler.
- Bir kural istemedikçe maliyet ya da gecikme. Bir sürüm kararı politikanızın beyan ettiği kuralları kapsar; bir gecikme kantili ya da kabul edilen görev başına maliyet üzerindeki bir bütçe, eklediğiniz bir max: kuralıdır (Kapılar).
- Yeniden kullanılan bir cevabın hâlâ güncel olup olmadığı. Önbellekteki bir çıktı ya da karar öncekidir, girdilerinin hash'i aynı olduğu için yeniden kullanılır; hash'in göremediği bir değişiklik (aynı adın arkasında değişen bir model, sistemin okuduğu ama içe aktarmadığı bir dosya, bir ortam değişkeni) görülmez (Sürümler, önbellek anahtarları ve geçersiz kılma).
- Baktıktan sonra seçtiğiniz bir dilim. Dilim sonuçları, beyan ettiğiniz dilimler için beyan edilen düzeltme altındaki iddialardır; ilginç göründüğü için seçilen bir kesit böyle bir güvence taşımaz ve dilimler asla kapıyı belirlemez (Dilimler).
- Bir vakanın neden başarısız olduğu. Değerlendiriciler ne olduğunu söyler; bir neden, bir kontrolün yanında bir müdahale ister ve o zaman bile Oloproof kanıtlanmış bir nedeni değil, test edilecek bir etkeni adlandırır.
- Zamanda sıralı vakaları bağımsızmış gibi. time_order beyan eden bir paket, bağımsız vakalar varsayan bir aralık yerine MANUAL_REVIEW okur (Kümelenmiş vakalar).
- Kabul edilmiş bir aralığı olmayan bir metrik. Buna ihtiyaç duyacak bir kural, doğrulanmamış bir yöntem ödünç almak yerine nedeniyle birlikte MANUAL_REVIEW ya da INSUFFICIENT_EVIDENCE döndürür.
Sistem türüne göre
- Ajanlar
- RAG
- Sınıflandırıcılar ve regresörler
- Pekiştirmeli öğrenme
- Görüntü, ses ve video
- Simüle edilmiş kullanıcılar
- İkinci bir görüş
Sonraki adımlar
- Bugün neler çalışıyor: aile aile, neyin yapıldığı.
- Temel kavramlar: aralıklar, paydalar ve dört karar.