Segunda opinión
Tu puntuación de eval ha subido. ¿Es real?
Sube las puntuaciones por caso que otra herramienta dio a tu sistema antes y después de un cambio. Oloproof dice si la subida es real, cuántos casos más la decidirían y si alguien ha comprobado el juez que las puso. Sin cuenta, sin nada que instalar.
Qué contiene un archivo
| Columna | Qué contiene |
|---|---|
| case_id | El id del caso. Los dos archivos solo se emparejan en un id que contengan ambos. |
| criterion | El nombre de la métrica. |
| score | Un número en la escala de la métrica, o vacío si la herramienta no puntuó ese caso. |
| passed | true o false en lugar de una puntuación, o vacío. |
| score_min, score_max | La escala en la que está una puntuación (0 y 1 en la mayoría de herramientas), obligatoria para una puntuación. |
| judge, judge_version | El modelo que juzgó, si lo hizo un modelo. Opcional. |
Un script breve convierte los resultados de cada herramienta en este archivo: DeepEval, Braintrust, LangSmith y Langfuse. Recetas para cada herramienta
Qué les pasa
Se comprueban en tu navegador. Un archivo con una columna fuera de estas se rechaza antes de enviar nada, así que ninguna pregunta ni respuesta sale nunca de tu máquina.
Los decide el motor. El mismo que ejecuta oloproof scores import: cada archivo se convierte en una ejecución, las dos se comparan caso por caso y cada criterio se contrasta en busca de una subida por encima de cero.
No se guardan en ningún sitio. Los archivos y las ejecuciones viven en un almacén temporal que se borra antes de que vuelva la respuesta. Hasta 2 MB y 20.000 puntuaciones por archivo.