Przejdź do treści
Dokumentacja
Dziennik zmianCennikOtwórz konsolę

Przewodniki

Czego ewaluacja nie powie

Każdy wynik Oloproof to zmierzone twierdzenie o określonych granicach. Ta strona wymienia granice, które obowiązują dla każdego rodzaju systemu; każda strona przewodnika dla danego systemu dodaje własne w sekcji „Czego to nie powie”.

Czego nie mówi żaden wynik

  • Danych wejściowych niepodobnych do zestawu. Decyzja to twierdzenie o populacji, z której losuje zestaw, i jest tak dobra, jak bardzo zestaw jest uczciwą próbą tego, co napotka Twój system. Oloproof nie może tego sprawdzić; nowy rodzaj danych wejściowych lub ruch z przyszłego miesiąca leży poza nim (Jak daleko sięga wynik).
  • Że sprawdzenie nigdy nie zawiedzie. Sprawdzenie, które przeszło na wszystkich 300 przypadkach, ogranicza, jak często zawodzi (najwyżej około 1,2% przy 95% ufności); nie jest dowodem.
  • Jak Twój system odpowie następnym razem. Przebieg mierzy jedną odpowiedź na przypadek, chyba że poprosisz o replicates: (Pisanie zestawu).
  • Co znaczą wyniki niesprawdzonego sędziego. Sędzia nigdy nieporównany z etykietami ludzi pozostaje UNVALIDATED, a jego odsetek zaliczeń to opinia sędziego. Polityka z require_validated_evaluators: true nie pozwala mu rozstrzygać (Sędziowie).
  • Że reguła nie przeszła, gdy mówi „jeszcze nieustalone”. INSUFFICIENT_EVIDENCE oznacza, że przedział wciąż obejmuje próg, a nie że system go nie osiągnął; oloproof plan mówi, ile więcej przypadków by ją rozstrzygnęło.
  • Kosztu ani opóźnienia, chyba że pyta o nie reguła. Decyzja o wydaniu obejmuje reguły zadeklarowane w Twojej polityce; budżet na kwantyl opóźnienia lub na koszt zaakceptowanego zadania to reguła max:, którą dodajesz (Bramkowanie).
  • Czy ponownie użyta odpowiedź jest wciąż aktualna. Wynik lub werdykt z cache jest wcześniejszy, użyty ponownie, bo jego wejścia mają ten sam hash; zmiana, której hash nie widzi (model zmieniony pod tą samą nazwą, plik, który system czyta, ale nie importuje, zmienna środowiskowa), nie jest widziana (Wersje, klucze cache i unieważnianie).
  • Wycinka wybranego po obejrzeniu wyników. Wyniki wycinków są twierdzeniami w ramach zadeklarowanej korekty dla wycinków, które zadeklarowałeś; podział wybrany, bo wyglądał interesująco, nie niesie takiej gwarancji, a wycinki nigdy nie bramkują (Wycinki).
  • Dlaczego przypadek się nie powiódł. Ewaluatory mówią, co się stało; przyczyna wymaga interwencji obok kontroli, a nawet wtedy Oloproof wskazuje czynnik do przetestowania, a nie ustaloną przyczynę.
  • Przypadków uporządkowanych w czasie tak, jakby były niezależne. Zestaw deklarujący time_order daje MANUAL_REVIEW zamiast przedziału zakładającego niezależne przypadki (Przypadki w klastrach).
  • Metryki bez przyjętego przedziału. Reguła, która by go potrzebowała, zwraca MANUAL_REVIEW lub INSUFFICIENT_EVIDENCE z przyczyną, zamiast pożyczać niezwalidowaną metodę.

Według rodzaju systemu

Co dalej