Guides

Ce qu'une évaluation ne peut pas vous dire

Chaque résultat Oloproof est une affirmation mesurée, avec des limites déclarées. Cette page liste les limites valables pour tout type de système ; chaque page du guide par système ajoute les siennes sous « Ce que cela ne peut pas vous dire ».

Ce qu'aucun résultat ne vous dit

Des entrées qui ne ressemblent pas à la suite. Une décision est une affirmation sur la population que la suite échantillonne, et elle ne vaut que si la suite est un échantillon fidèle de ce que votre système rencontrera. Oloproof ne peut pas le vérifier ; un nouveau type d'entrée ou le trafic du mois prochain en sort (Jusqu’où va un résultat).
Qu'une vérification ne peut jamais échouer. Une vérification réussie sur les 300 cas borne la fréquence de ses échecs (au plus environ 1,2 % avec une confiance de 95 %) ; ce n'est pas une preuve.
Comment votre système répondra la prochaine fois. Une exécution mesure une réponse par cas, sauf si vous demandez replicates: (Écrire une suite).
Ce que signifient les scores d'un juge non vérifié. Un juge jamais comparé à des étiquettes humaines reste UNVALIDATED, et son taux de réussite est l'opinion du juge. Une politique avec require_validated_evaluators: true refuse de le laisser décider (Juges).
Qu'une règle a échoué quand elle dit « pas encore établi ». INSUFFICIENT_EVIDENCE signifie que l'intervalle chevauche encore la barre, pas que le système l'a manquée ; oloproof plan indique combien de cas de plus la trancheraient.
Le coût ou la latence, sauf si une règle le demande. Une décision de publication couvre les règles que déclare votre politique ; un budget sur un quantile de latence ou sur le coût par tâche acceptée est une règle max: que vous ajoutez (Porte de CI).
Si une réponse réutilisée est toujours à jour. Une sortie ou un jugement en cache est l'ancien, réutilisé parce que ses entrées ont le même hash ; un changement que le hash ne voit pas (un modèle changé derrière le même nom, un fichier que le système lit sans l'importer, une variable d'environnement) n'est pas vu (Versions, clés de cache et invalidation).
Un segment choisi après avoir regardé. Les résultats par segment sont des affirmations sous la correction déclarée pour les segments que vous avez déclarés ; un découpage choisi parce qu'il semblait intéressant ne porte aucune garantie de ce genre, et les segments ne décident jamais la porte (Segments).
Pourquoi un cas a échoué. Les évaluateurs disent ce qui s'est passé ; une cause demande une intervention à côté d'un témoin, et même alors Oloproof nomme un facteur à tester, pas une cause établie.
Des cas ordonnés dans le temps comme s'ils étaient indépendants. Une suite qui déclare time_order donne MANUAL_REVIEW plutôt qu'un intervalle qui suppose des cas indépendants (Cas groupés).
Une métrique sans intervalle admis. Une règle qui en aurait besoin renvoie MANUAL_REVIEW ou INSUFFICIENT_EVIDENCE avec sa raison plutôt que d'emprunter une méthode non validée.

Par type de système

Pour aller plus loin

Ce qui fonctionne aujourd’hui : ce qui est construit, famille par famille.
Concepts fondamentaux : intervalles, dénominateurs et les quatre décisions.