Second avis
Votre score d’eval a augmenté. Est-ce réel ?
Importez les scores par cas qu’un autre outil a donnés à votre système avant et après un changement. Oloproof dit si la hausse est réelle, combien de cas supplémentaires la trancheraient, et si quelqu’un a vérifié le juge qui les a attribués. Sans compte, rien à installer.
Ce que contient un fichier
| Colonne | Ce qu’elle contient |
|---|---|
| case_id | L’identifiant du cas. Les deux fichiers ne s’apparient que sur un identifiant présent dans les deux. |
| criterion | Le nom de la métrique. |
| score | Un nombre sur l’échelle de la métrique, ou vide si l’outil n’a pas noté ce cas. |
| passed | true ou false au lieu d’un score, ou vide. |
| score_min, score_max | L’échelle sur laquelle se situe un score (0 et 1 pour la plupart des outils), obligatoire pour un score. |
| judge, judge_version | Le modèle qui a jugé, si c’est un modèle. Facultatif. |
Un court script transforme les résultats de chaque outil en ce fichier : DeepEval, Braintrust, LangSmith et Langfuse. Recettes pour chaque outil
Ce qu’ils deviennent
Vérifiés dans votre navigateur. Un fichier avec une colonne en dehors de celles-ci est refusé avant tout envoi, si bien qu’aucune question ni réponse ne quitte jamais votre machine.
Tranchés par le moteur. Le même que celui qu’exécute oloproof scores import : chaque fichier devient une exécution, les deux sont comparées cas par cas, et chaque critère est testé pour une hausse au-dessus de zéro.
Conservés nulle part. Les fichiers et les exécutions vivent dans un stockage temporaire, supprimé avant que la réponse ne revienne. Jusqu’à 2 Mo et 20 000 scores par fichier.