Second opinion
Je eval-score is gestegen. Is het echt?
Upload de scores per case die een ander tool je systeem gaf voor en na een wijziging. Oloproof zegt of de stijging echt is, hoeveel cases meer haar zouden beslissen en of iemand de judge heeft gecontroleerd die ze toekende. Geen account, niets te installeren.
Wat een bestand bevat
| Kolom | Wat erin staat |
|---|---|
| case_id | Het id van de case. De twee bestanden koppelen alleen op een id dat in beide staat. |
| criterion | De naam van de metric. |
| score | Een getal op de schaal van de metric, of leeg als het tool die case niet scoorde. |
| passed | true of false in plaats van een score, of leeg. |
| score_min, score_max | De schaal waarop een score ligt (0 en 1 bij de meeste tools), verplicht bij een score. |
| judge, judge_version | Het model dat oordeelde, als een model dat deed. Optioneel. |
Een kort script zet de resultaten van elk tool om in dit bestand: DeepEval, Braintrust, LangSmith en Langfuse. Recepten voor elk tool
Wat ermee gebeurt
Gecontroleerd in je browser. Een bestand met een kolom buiten deze wordt geweigerd voordat er iets wordt verzonden, dus geen vraag of antwoord verlaat ooit je machine.
Beslist door de engine. Dezelfde die oloproof scores import draait: elk bestand wordt een run, de twee worden case voor case vergeleken en elk criterium wordt getoetst op een stijging boven nul.
Nergens bewaard. De bestanden en de runs staan in een tijdelijke opslag, die wordt gewist voordat het antwoord terugkomt. Tot 2 MB en 20.000 scores per bestand.