第二意见
你的评测分数上升了。这是真的吗?
上传另一工具在改动前后给你的系统打出的逐用例分数。Oloproof 会告诉你上升是否真实、还需要多少用例才能定论,以及是否有人核对过给出这些分数的评审模型。无需账户,无需安装。
文件包含什么
| 列 | 内容 |
|---|---|
| case_id | 用例的 ID。两个文件只在双方都包含的 ID 上配对。 |
| criterion | 指标的名称。 |
| score | 指标量表上的一个数值;如果工具没有为该用例评分,则留空。 |
| passed | 用 true 或 false 代替分数,或留空。 |
| score_min, score_max | 分数所在的量表(大多数工具为 0 和 1),有分数时必填。 |
| judge, judge_version | 进行评判的模型(如果由模型评判)。可选。 |
一个简短的脚本即可把各工具的结果转换成这种文件:DeepEval、Braintrust、LangSmith 和 Langfuse。 各工具的配方
文件会怎样处理
在你的浏览器中检查。 带有这些列之外的列的文件会在发送任何内容之前被拒绝,因此任何问题或回答都不会离开你的机器。
由引擎判定。 就是 oloproof scores import 运行的那个引擎:每个文件成为一次运行,两次运行逐用例比较,并检验每个标准是否有高于零的上升。
不保存在任何地方。 文件和运行存放在临时存储中,在答案返回之前即被删除。每个文件最多 2 MB、20,000 个分数。