Zweite Meinung
Ihr Eval-Score ist gestiegen. Ist das echt?
Laden Sie die fallweisen Scores hoch, die ein anderes Tool Ihrem System vor und nach einer Änderung gegeben hat. Oloproof sagt, ob der Anstieg echt ist, wie viele weitere Fälle ihn entscheiden würden und ob jemand den Judge geprüft hat, der sie vergeben hat. Kein Konto, nichts zu installieren.
Was eine Datei enthält
| Spalte | Was sie enthält |
|---|---|
| case_id | Die ID des Falls. Die beiden Dateien werden nur über eine ID gepaart, die beide enthalten. |
| criterion | Der Name der Metrik. |
| score | Eine Zahl auf der Skala der Metrik, oder leer, wenn das Tool diesen Fall nicht bewertet hat. |
| passed | true oder false statt eines Scores, oder leer. |
| score_min, score_max | Die Skala, auf der ein Score liegt (0 und 1 bei den meisten Tools), für einen Score erforderlich. |
| judge, judge_version | Das Modell, das geurteilt hat, falls ein Modell es tat. Optional. |
Ein kurzes Skript macht aus den Ergebnissen jedes Tools diese Datei: DeepEval, Braintrust, LangSmith und Langfuse. Rezepte für jedes Tool
Was mit ihnen geschieht
In Ihrem Browser geprüft. Eine Datei mit einer Spalte über diese hinaus wird abgelehnt, bevor irgendetwas gesendet wird, sodass keine Frage und keine Antwort je Ihren Rechner verlässt.
Von der Engine entschieden. Derselben, die oloproof scores import ausführt: Jede Datei wird zu einem Lauf, die beiden werden Fall für Fall verglichen, und jedes Kriterium wird auf einen Anstieg über null getestet.
Nirgends gespeichert. Die Dateien und die Läufe liegen in einem temporären Speicher, der gelöscht wird, bevor die Antwort zurückkommt. Bis zu 2 MB und 20.000 Scores pro Datei.