Guide

Che cosa una valutazione non può dirvi

Ogni risultato di Oloproof è un'affermazione misurata con limiti dichiarati. Questa pagina elenca i limiti che valgono per ogni tipo di sistema; ogni pagina della guida per sistema aggiunge i propri sotto «Che cosa questo non può dirvi».

Che cosa nessun risultato vi dice

Input diversi dalla suite. Una decisione è un'affermazione sulla popolazione che la suite campiona, e vale solo quanto la suite è un campione fedele di ciò che il vostro sistema incontrerà. Oloproof non può verificarlo; un nuovo tipo di input o il traffico del mese prossimo ne restano fuori (Fin dove arriva un risultato).
Che un controllo non possa mai fallire. Un controllo superato su tutti i 300 casi limita quanto spesso fallisce (al massimo circa l'1,2% con il 95% di confidenza); non è una prova.
Come risponderà il vostro sistema la prossima volta. Un'esecuzione misura una risposta per caso a meno che non chiediate replicates: (Scrivere una suite).
Che cosa significano i punteggi di un giudice non verificato. Un giudice mai confrontato con etichette umane resta UNVALIDATED, e il suo tasso di superamento è l'opinione del giudice. Una policy con require_validated_evaluators: true rifiuta di lasciarlo decidere (Giudici).
Che una regola è fallita quando dice «non ancora stabilito». INSUFFICIENT_EVIDENCE significa che l'intervallo scavalca ancora la soglia, non che il sistema l'ha mancata; oloproof plan dice quanti casi in più la deciderebbero.
Costo o latenza, a meno che una regola non lo chieda. Una decisione di rilascio copre le regole che la vostra policy dichiara; un budget su un quantile di latenza o sul costo per compito accettato è una regola max: che aggiungete voi (Gating in CI).
Se una risposta riutilizzata è ancora attuale. Un output o un giudizio in cache è quello precedente, riutilizzato perché i suoi input hanno lo stesso hash; un cambiamento che l'hash non vede (un modello cambiato dietro lo stesso nome, un file che il sistema legge ma non importa, una variabile d'ambiente) non viene visto (Versioni, chiavi di cache e invalidazione).
Una slice scelta dopo aver guardato. I risultati per slice sono affermazioni sotto la correzione dichiarata per le slice che avete dichiarato; un taglio scelto perché sembrava interessante non porta alcuna garanzia del genere, e le slice non decidono mai il gate (Slice).
Perché un caso è fallito. I valutatori dicono che cosa è successo; una causa richiede un intervento accanto a un controllo, e anche allora Oloproof nomina un fattore da verificare, non una causa accertata.
Casi ordinati nel tempo come se fossero indipendenti. Una suite che dichiara time_order dà MANUAL_REVIEW invece di un intervallo che presuppone casi indipendenti (Casi raggruppati).
Una metrica senza un intervallo ammesso. Una regola che ne avrebbe bisogno restituisce MANUAL_REVIEW o INSUFFICIENT_EVIDENCE con il suo motivo invece di prendere in prestito un metodo non validato.

Per tipo di sistema

Dove andare dopo

Cosa funziona oggi: che cosa è costruito, famiglia per famiglia.
Concetti fondamentali: intervalli, denominatori e le quattro decisioni.