Langsung ke konten
Dokumentasi
Log perubahanHargaBuka konsol

Panduan

Apa yang tidak bisa diberitahukan oleh sebuah evaluasi

Setiap hasil Oloproof adalah klaim terukur dengan batas yang dinyatakan. Halaman ini mencantumkan batas yang berlaku untuk setiap jenis sistem; setiap halaman panduan per sistem menambahkan batasnya sendiri di bawah "Apa yang tidak bisa diberitahukan".

Apa yang tidak diberitahukan oleh hasil mana pun

  • Input yang tidak mirip suite. Sebuah keputusan adalah klaim tentang populasi yang disampel suite, dan hanya sebaik suite itu menjadi sampel yang adil dari apa yang akan ditemui sistem Anda. Oloproof tidak dapat memeriksa hal itu; jenis input baru atau trafik bulan depan berada di luarnya (Seberapa jauh sebuah hasil menjangkau).
  • Bahwa sebuah pemeriksaan tidak akan pernah gagal. Pemeriksaan yang lulus pada ke-300 kasus membatasi seberapa sering ia gagal (paling banyak sekitar 1,2% pada kepercayaan 95%); itu bukan bukti.
  • Bagaimana sistem Anda menjawab lain kali. Sebuah run mengukur satu jawaban per kasus kecuali Anda meminta replicates: (Menulis suite).
  • Arti skor dari juri yang belum diperiksa. Juri yang tidak pernah dibandingkan dengan label dari orang tetap UNVALIDATED, dan tingkat kelulusannya adalah pendapat juri itu. Kebijakan dengan require_validated_evaluators: true menolak membiarkannya memutuskan (Juri).
  • Bahwa sebuah aturan gagal ketika ia berkata "belum terbukti". INSUFFICIENT_EVIDENCE berarti interval masih melintasi ambang, bukan bahwa sistem meleset darinya; oloproof plan menyebut berapa kasus lagi yang akan memutuskannya.
  • Biaya atau latensi, kecuali sebuah aturan memintanya. Keputusan rilis mencakup aturan yang dideklarasikan kebijakan Anda; anggaran atas kuantil latensi atau atas biaya per tugas yang diterima adalah aturan max: yang Anda tambahkan (Gating).
  • Apakah jawaban yang dipakai ulang masih terkini. Keluaran atau putusan yang di-cache adalah yang sebelumnya, dipakai ulang karena hash masukannya sama; perubahan yang tidak terlihat oleh hash (model yang berubah di balik nama yang sama, file yang dibaca sistem tetapi tidak diimpor, variabel lingkungan) tidak terlihat (Versi, kunci cache, dan pembatalan).
  • Irisan yang Anda pilih setelah melihat. Hasil irisan adalah klaim di bawah koreksi yang dideklarasikan untuk irisan yang Anda deklarasikan; potongan yang dipilih karena tampak menarik tidak membawa jaminan seperti itu, dan irisan tidak pernah menentukan gate (Irisan (slice)).
  • Mengapa sebuah kasus gagal. Evaluator menyatakan apa yang terjadi; penyebab memerlukan intervensi di samping kontrol, dan bahkan saat itu Oloproof menyebut faktor untuk diuji, bukan penyebab yang terbukti.
  • Kasus yang berurutan dalam waktu seolah-olah independen. Suite yang mendeklarasikan time_order menghasilkan MANUAL_REVIEW alih-alih interval yang mengasumsikan kasus independen (Kasus berkelompok).
  • Metrik tanpa interval yang disetujui. Aturan yang memerlukannya mengembalikan MANUAL_REVIEW atau INSUFFICIENT_EVIDENCE beserta alasannya alih-alih meminjam metode yang belum divalidasi.

Menurut jenis sistem

Langkah selanjutnya