Druga opinia
Twój wynik eval wzrósł. Czy to prawdziwe?
Wgraj wyniki dla poszczególnych przypadków, które inne narzędzie przyznało twojemu systemowi przed zmianą i po niej. Oloproof mówi, czy wzrost jest prawdziwy, ile jeszcze przypadków by go rozstrzygnęło i czy ktoś sprawdził sędziego, który je przyznał. Bez konta, bez instalowania czegokolwiek.
Co zawiera plik
| Kolumna | Co zawiera |
|---|---|
| case_id | Identyfikator przypadku. Oba pliki łączą się w pary tylko po identyfikatorze, który zawierają oba. |
| criterion | Nazwa metryki. |
| score | Liczba na skali metryki albo puste pole, jeśli narzędzie nie oceniło tego przypadku. |
| passed | true lub false zamiast wyniku albo puste pole. |
| score_min, score_max | Skala, na której leży wynik (0 i 1 w większości narzędzi), wymagana dla wyniku. |
| judge, judge_version | Model, który oceniał, jeśli oceniał model. Opcjonalne. |
Krótki skrypt zamienia wyniki każdego narzędzia w taki plik: DeepEval, Braintrust, LangSmith i Langfuse. Przepisy dla każdego narzędzia
Co się z nimi dzieje
Sprawdzane w twojej przeglądarce. Plik z kolumną spoza tych jest odrzucany, zanim cokolwiek zostanie wysłane, więc żadne pytanie ani odpowiedź nigdy nie opuszcza twojego komputera.
Rozstrzygane przez silnik. Ten sam, który uruchamia oloproof scores import: każdy plik staje się uruchomieniem, oba są porównywane przypadek po przypadku, a każde kryterium jest testowane pod kątem wzrostu powyżej zera.
Nigdzie nieprzechowywane. Pliki i uruchomienia trafiają do tymczasowego magazynu, usuwanego, zanim wróci odpowiedź. Do 2 MB i 20 000 wyników na plik.