跳到主要内容

第二意见

你的评测分数上升了。这是真的吗?

上传另一工具在改动前后给你的系统打出的逐用例分数。Oloproof 会告诉你上升是否真实、还需要多少用例才能定论,以及是否有人核对过给出这些分数的评审模型。无需账户,无需安装。

CSV 或 JSON Lines,每个用例和标准一行:只含用例 ID 和分数。带有任何其他列的文件会在发送之前就在这里被拒绝。

文件包含什么

列内容
case_id用例的 ID。两个文件只在双方都包含的 ID 上配对。
criterion指标的名称。
score指标量表上的一个数值;如果工具没有为该用例评分,则留空。
passed用 true 或 false 代替分数,或留空。
score_min, score_max分数所在的量表(大多数工具为 0 和 1),有分数时必填。
judge, judge_version进行评判的模型(如果由模型评判)。可选。

一个简短的脚本即可把各工具的结果转换成这种文件:DeepEval、Braintrust、LangSmith 和 Langfuse。 各工具的配方

文件会怎样处理

在你的浏览器中检查。 带有这些列之外的列的文件会在发送任何内容之前被拒绝,因此任何问题或回答都不会离开你的机器。

由引擎判定。 就是 oloproof scores import 运行的那个引擎:每个文件成为一次运行,两次运行逐用例比较,并检验每个标准是否有高于零的上升。

不保存在任何地方。 文件和运行存放在临时存储中,在答案返回之前即被删除。每个文件最多 2 MB、20,000 个分数。