Secondo parere
Il tuo punteggio di eval è salito. È reale?
Carica i punteggi per caso che un altro strumento ha dato al tuo sistema prima e dopo una modifica. Oloproof dice se l'aumento è reale, quanti casi in più lo deciderebbero e se qualcuno ha verificato il giudice che li ha assegnati. Nessun account, niente da installare.
Cosa contiene un file
| Colonna | Cosa contiene |
|---|---|
| case_id | L'id del caso. I due file si abbinano solo su un id contenuto in entrambi. |
| criterion | Il nome della metrica. |
| score | Un numero sulla scala della metrica, oppure vuoto se lo strumento non ha dato un punteggio a quel caso. |
| passed | true o false al posto di un punteggio, oppure vuoto. |
| score_min, score_max | La scala su cui sta un punteggio (0 e 1 per la maggior parte degli strumenti), obbligatoria per un punteggio. |
| judge, judge_version | Il modello che ha giudicato, se è stato un modello. Facoltativo. |
Un breve script trasforma i risultati di ogni strumento in questo file: DeepEval, Braintrust, LangSmith e Langfuse. Ricette per ogni strumento
Cosa succede ai file
Controllati nel tuo browser. Un file con una colonna oltre a queste viene rifiutato prima che venga inviato qualsiasi cosa, quindi nessuna domanda o risposta lascia mai la tua macchina.
Decisi dal motore. Lo stesso che esegue oloproof scores import: ogni file diventa un'esecuzione, le due vengono confrontate caso per caso e ogni criterio viene testato per un aumento sopra lo zero.
Conservati da nessuna parte. I file e le esecuzioni stanno in un archivio temporaneo, cancellato prima che torni la risposta. Fino a 2 MB e 20.000 punteggi per file.