Ga naar de inhoud
Docs
WijzigingslogboekPrijzenConsole openen

Handleidingen

Wat een evaluatie je niet kan vertellen

Elk resultaat van Oloproof is een gemeten uitspraak met benoemde grenzen. Deze pagina somt de grenzen op die voor elk soort systeem gelden; elke gidspagina per systeem voegt er onder "Wat dit u niet kan vertellen" zijn eigen aan toe.

Wat geen enkel resultaat je vertelt

  • Invoer die niet op de suite lijkt. Een beslissing is een uitspraak over de populatie waaruit de suite trekt, en ze is maar zo goed als de suite een eerlijke steekproef is van wat je systeem zal tegenkomen. Oloproof kan dat niet controleren; een nieuw soort invoer of het verkeer van volgende maand valt erbuiten (Hoe ver een resultaat reikt).
  • Dat een controle nooit kan falen. Een controle die op alle 300 gevallen slaagde, begrenst hoe vaak ze faalt (hooguit ongeveer 1,2% bij 95% betrouwbaarheid); ze is geen bewijs.
  • Hoe je systeem de volgende keer antwoordt. Een run meet een antwoord per geval, tenzij je om replicates: vraagt (Een suite schrijven).
  • Wat de scores van een ongecontroleerde judge betekenen. Een judge die nooit met de labels van mensen is vergeleken, blijft UNVALIDATED, en zijn pass rate is de mening van de judge. Een policy met require_validated_evaluators: true laat hem niet beslissen (Judges).
  • Dat een regel faalde wanneer die "nog niet vastgesteld" zegt. INSUFFICIENT_EVIDENCE betekent dat het interval de lat nog overspant, niet dat het systeem die miste; oloproof plan zegt hoeveel meer gevallen hem zouden beslissen.
  • Kosten of latentie, tenzij een regel erom vraagt. Een releasebeslissing dekt de regels die je policy declareert; een budget op een latentiekwantiel of op kosten per geaccepteerde taak is een max:-regel die je toevoegt (Gating).
  • Of een hergebruikt antwoord nog actueel is. Een gecachte output of een gecacht oordeel is het eerdere, hergebruikt omdat de invoer dezelfde hash geeft; een wijziging die de hash niet ziet (een model dat achter dezelfde naam veranderde, een bestand dat het systeem leest maar niet importeert, een omgevingsvariabele) wordt niet gezien (Versies, cachesleutels en ongeldig maken).
  • Een slice die je koos nadat je keek. Slice-resultaten zijn uitspraken onder de gedeclareerde correctie voor de slices die je declareerde; een snede gekozen omdat die interessant leek, draagt zo'n garantie niet, en slices gaten nooit (Slices).
  • Waarom een geval faalde. Evaluators zeggen wat er gebeurde; een oorzaak vraagt een interventie naast een controle, en zelfs dan noemt Oloproof een te testen factor, geen vastgestelde oorzaak.
  • In de tijd geordende gevallen alsof ze onafhankelijk zijn. Een suite die time_order declareert, leest MANUAL_REVIEW in plaats van een interval dat onafhankelijke gevallen aanneemt (Geclusterde gevallen).
  • Een metriek zonder toegelaten interval. Een regel die er een nodig zou hebben, geeft MANUAL_REVIEW of INSUFFICIENT_EVIDENCE terug met de reden, in plaats van een niet-gevalideerde methode te lenen.

Per soort systeem

Verder lezen