跳到主要内容

面向已在承担真实工作的 AI

评审你的 AI 在生产环境中做了什么。

上线之后,由人在浏览器中评审 Oloproof 从真实流量中抽取的样本,而内容始终留在你这一侧。工作区依据他们的发现做出决定,而不是依据任何人选择给它看的东西。

抽取

没有人挑选的样本

你的采集器通过 OpenTelemetry 接收追踪记录,并用签名的 Merkle 根为它封存的每一个小时做出承诺。随后工作区用自己的随机性抽取样本,并对照该承诺核查每一条被抽中的追踪记录,因此采集器封存的任何追踪记录都无法被藏起来不参与抽取。

评审

在浏览器中评审

所有者或管理员开启一个评审队列并指派评审人。每个人给出通过或失败的判定、在声明的量表上打分,或在两个输出之间做出盲选偏好,均记录在其本人账户下。为度量而抽取的条目在展示时不附带评判器的判定。

留存

内容留在你这一侧

在默认的数据外发策略下,工作区不保存任何输入或输出。评审人的浏览器通过部署签发的五分钟票据,从你网络中的采集器获取每个条目的内容,Oloproof 从不存储这些内容。

工作区如何决定

对工作区所抽样本给出的通过或失败判定,会通过预测驱动推断来校正评判器的通过率,工作区再用自己的引擎验证该区间。它只计入自己封存的标注,且来自相互独立的账户,并用与每次运行相同的四种状态做出决定:通过、失败、证据不足或人工审核。分数和偏好会被存储和展示,在相应方法获准之前不进入任何统计。