人工审核

你自己的团队成员可以在 Oloproof 中为系统的回答打标签，这些标签既可以单独决定一次发布，也可以检验做出发布决定的评判模型。本页汇总现有功能，并指出每一部分的完整说明在哪里。

人可以标注什么

• 针对一个标准，逐个用例标注通过、不通过或无法判断。
• 在你选定的量表上给出分数，例如 1 到 5。
• 在两次运行对同一用例的回答之间给出偏好，回答以 A 和 B 显示，顺序由工作区通过一次有记录的抛硬币确定，因此审核者无法分辨哪次运行是哪个。
• 对同一用例的两个回答都给出通过或不通过，用于按人的判定比较两个版本。

为队列编写的评分细则会显示在每个用例旁边。

在哪里标注

在浏览器中。 在托管工作区中，Owner 或 Admin 从项目的 Review 页面打开一个审核队列并分配审核者。每位审核者看到分配给自己的队列，并用按钮或 P、F、C 键标注。来自未分配到该队列的账户的判定会被拒绝，每条判定都记录在审核者自己的账户下。

在终端中。 oloproof review RUN --criterion NAME --by YOU 每行标注一个用例。不加其他选项时，它一次完成对评判模型的检验：按你的阈值确定大小的盲样本、以你的标签衡量评判模型，以及重新判定这次运行。

在电子表格中。 oloproof labels export RUN --criterion NAME --sample 50 写出一个待填写的 CSV，oloproof labels import 要么记录所有已填写的行，要么一行都不记录。可将它用于在 Oloproof 之外工作的审核者，包括标注供应商。来自文件的标签在你的机器上计入，但不计入工作区对其自行抽取的样本所做的检验。

运行队列

当 Owner 或 Admin 打开一个队列时，每位审核者都会收到被分配的邮件，除非他们关闭了审核邮件。队列可以设置截止日期，显示在队列和邮件中；它不决定任何事，到期时也不会发送任何内容。在队列页面上，Owner 和 Admin 可以看到每位审核者的进度（已完成的案例及其最近一次裁决），并可以修改截止日期。

审核队列的审核者可以随时更改，每位新增的审核者都会收到邮件。测量队列的审核者不能更改：他们是其随机样本的一部分，且只有他们的标签在该队列中计数，因此其他审核者需要接手一个拥有自己样本的新队列。

两种队列

测量队列让工作区抽取随机样本，并隐藏评判模型的判定。其标签用于衡量评判模型，或仅由人来判定一条规则。已标记用例的审核队列显示评判模型的判定，并在不测量任何东西的情况下处理这些用例。只有第一种能代表整个测试套件。

审核者意见不一致时

项目可以要求每个抽样用例有两名或更多审核者，按账户计数。当他们在通过或不通过上意见不一时，工作区不做任何判定，直到一位未标注过该用例任何部分的 Owner 或 Admin 在队列页面或运行页面上将其裁定。人与人之间的一致程度显示在每个评估器旁边，表示为意见一致的审核者对所占比例，并附带其区间，同时也表示为 Krippendorff 的 alpha：它在大多数回答都通过的标准上，从该比例中扣除仅凭偶然就会产生的一致，1 表示完全一致，0 表示偶然。当有 300 个用例由两人或更多人标注时，alpha 会附带区间；不足时只显示 alpha 本身，并说明原因。它不做任何判定。

有三名或更多审核者的通过或不通过测量队列，也可以改为按多数读取，这在打开队列时选择。每位审核者的第一个判定就是其投票；当一个用例超过半数的审核者意见一致时即计入，平票则等待一位 Owner 或 Admin 裁定。一次运行在同一标准上的通过或不通过队列都以相同方式读取。

分数、偏好以及两次运行上的通过或不通过无需这种选择：每个用例的值是标注过它的所有审核者的平均值，因此分歧会移动该值，而不是等待裁定，严格或宽松的审核者也是回答所衡量内容的一部分。

来自供应商的标签

通过或不通过测量队列或分数测量队列可以由供应商的评分员而非成员来标注。打开队列时选择“由供应商标注”并填写评分员的姓名。在队列页面下载表格（每个抽取的用例和每位评分员一行，填写通过或不通过，或按队列量表给出的分数），连同要展示的回答交给供应商，然后上传返回的 CSV 或 XLSX。每一行都会被检查：队列未抽取的用例、队列未列名的评分员，或同一评分员对同一用例的第二个判定，都会使整个文件被拒绝。

此后每位评分员都按姓名计为一名审核者，因此一致率、alpha、答案键上的准确率和多数都会读取他们。在依赖供应商的评分员之前，先为几个用例设置答案键来检验他们；他们的准确率会被报告，但不做任何判定。工作区知道它收到的文件，而不知道是谁看过：每个标签都记录上传它的账户。

答案键与审核者准确率

Owner 或 Admin 可以为通过或失败队列中的部分用例设置答案键：打开一个用例，将其键设为通过或失败。只有未被该队列分配的 Owner 或 Admin 能看到答案键，因此审核者不知道哪些用例设有答案键。随后，审核页面向 Owner 和 Admin 显示每位审核者设有答案键的回答中与答案键一致的比例及其区间，并按月显示同样的数据。

计入的是审核者对设有答案键的回答给出的第一个通过或失败；“无法判断”显示在旁边，裁决和答案键作者本人的判定不计入，且一个答案键只针对一个回答，因此对另一次运行就同一用例给出的回答所作的判定不参与比较。答案键绝不是标签，也不决定任何事。该区间把设有答案键的用例视为同类用例的随机样本；手工挑选的答案键并非如此，因此请把它理解为在这些用例上的准确率。

人的标签决定发布

• human_score：根据人已打分的用例，人对整个测试套件给出的分数。
• human_preference：人是否更偏好候选版本而非基线，以及偏好多少。
• human_difference：人判定候选版本通过的频率比基线高多少。
• judge_bias_bar：由评判模型判定的比较会交给人处理，除非人的标签表明评判模型对两个版本一视同仁。

每一项都在 release.yaml 或 compare.yaml 中声明，其方法以及它不能声称的内容在评判模型中说明。无人标注的用例按其最差值计入，因此不标注困难用例永远不会有帮助。

尚未构建

以下内容目前尚不存在：

• 由供应商标注审核队列、偏好或两次运行上的通过或不通过：它们都按工作区为每位审核者确定的顺序向审核者展示两个回答，而在 Oloproof 之外制作的文件无法保持这一顺序。

Oloproof 不提供审核者，也不连接供应商自己的工具。