Guías

Lo que una evaluación no puede decirle

Cada resultado de Oloproof es una afirmación medida con límites declarados. Esta página enumera los límites que valen para cualquier tipo de sistema; cada página de la guía por sistema añade los suyos bajo «Lo que esto no puede decirle».

Lo que ningún resultado le dice

Entradas distintas de la suite. Una decisión es una afirmación sobre la población que la suite muestrea, y solo vale en la medida en que la suite sea una muestra fiel de lo que su sistema encontrará. Oloproof no puede comprobarlo; un tipo nuevo de entrada o el tráfico del mes que viene quedan fuera (Hasta dónde llega un resultado).
Que una comprobación no pueda fallar nunca. Una comprobación que pasó en los 300 casos acota con qué frecuencia falla (como mucho alrededor del 1,2 % con un 95 % de confianza); no es una prueba.
Cómo responderá su sistema la próxima vez. Una ejecución mide una respuesta por caso salvo que pida replicates: (Escribir una suite).
Qué significan las puntuaciones de un juez sin comprobar. Un juez nunca comparado con etiquetas humanas permanece UNVALIDATED, y su tasa de aprobados es la opinión del juez. Una política con require_validated_evaluators: true se niega a dejarlo decidir (Jueces).
Que una regla falló cuando dice «aún no establecido». INSUFFICIENT_EVIDENCE significa que el intervalo aún cruza el umbral, no que el sistema no lo alcanzó; oloproof plan dice cuántos casos más lo decidirían.
El coste o la latencia, salvo que una regla lo pida. Una decisión de publicación cubre las reglas que declara su política; un presupuesto sobre un cuantil de latencia o sobre el coste por tarea aceptada es una regla max: que usted añade (Gates en CI).
Si una respuesta reutilizada sigue vigente. Una salida o un juicio en caché es el anterior, reutilizado porque sus entradas dan el mismo hash; un cambio que el hash no ve (un modelo que cambió tras el mismo nombre, un archivo que el sistema lee pero no importa, una variable de entorno) no se ve (Versiones, claves de caché e invalidación).
Un segmento elegido después de mirar. Los resultados por segmento son afirmaciones bajo la corrección declarada para los segmentos que usted declaró; un corte elegido porque parecía interesante no lleva esa garantía, y los segmentos nunca deciden el gate (Segmentos).
Por qué falló un caso. Los evaluadores dicen qué pasó; una causa requiere una intervención junto a un control, e incluso entonces Oloproof nombra un factor que probar, no una causa establecida.
Casos ordenados en el tiempo como si fueran independientes. Una suite que declara time_order da MANUAL_REVIEW en lugar de un intervalo que supone casos independientes (Casos agrupados).
Una métrica sin intervalo admitido. Una regla que lo necesitaría devuelve MANUAL_REVIEW o INSUFFICIENT_EVIDENCE con su motivo en lugar de tomar prestado un método no validado.

Por tipo de sistema

Siguientes pasos

Qué funciona hoy: qué está construido, familia por familia.
Conceptos básicos: intervalos, denominadores y las cuatro decisiones.