Segunda opinião
Sua pontuação de eval subiu. É real?
Envie as pontuações por caso que outra ferramenta deu ao seu sistema antes e depois de uma mudança. O Oloproof diz se a alta é real, quantos casos a mais a decidiriam e se alguém verificou o juiz que as atribuiu. Sem conta, nada para instalar.
O que um arquivo contém
| Coluna | O que contém |
|---|---|
| case_id | O id do caso. Os dois arquivos só são pareados por um id que ambos contêm. |
| criterion | O nome da métrica. |
| score | Um número na escala da métrica, ou vazio se a ferramenta não pontuou aquele caso. |
| passed | true ou false em vez de uma pontuação, ou vazio. |
| score_min, score_max | A escala em que a pontuação está (0 e 1 na maioria das ferramentas), obrigatória para uma pontuação. |
| judge, judge_version | O modelo que julgou, se foi um modelo. Opcional. |
Um script curto transforma os resultados de cada ferramenta neste arquivo: DeepEval, Braintrust, LangSmith e Langfuse. Receitas para cada ferramenta
O que acontece com eles
Verificados no seu navegador. Um arquivo com uma coluna além destas é recusado antes de qualquer envio, então nenhuma pergunta ou resposta jamais sai da sua máquina.
Decididos pelo motor. O mesmo que oloproof scores import executa: cada arquivo vira uma execução, as duas são comparadas caso a caso e cada critério é testado quanto a uma alta acima de zero.
Guardados em lugar nenhum. Os arquivos e as execuções ficam em um armazenamento temporário, apagado antes de a resposta voltar. Até 2 MB e 20.000 pontuações por arquivo.