指南
评估无法告诉你的内容
每个 Oloproof 结果都是带有明确限制的度量结论。本页列出适用于各类系统的限制；每个按系统分类的指南页在“这无法告诉你的”下补充各自的限制。
没有任何结果能告诉你的
- 与套件不同的输入。决策是关于套件所抽样总体的结论，它的好坏取决于套件能否公平地代表你的系统将遇到的内容。Oloproof 无法检查这一点；新类型的输入或下个月的流量都在其范围之外（结果能推广多远）。
- 某项检查永远不会失败。在全部 300 个用例上通过的检查界定了它失败的频率（在 95% 置信度下至多约 1.2%）；这不是证明。
- 你的系统下一次会怎么回答。除非你要求 replicates:，一次运行对每个用例只度量一个回答（编写测试套件）。
- 未经检查的评判模型的分数意味着什么。从未与人工标签比较的评判模型保持 UNVALIDATED，其通过率只是评判模型的意见。带有 require_validated_evaluators: true 的策略拒绝让它做决策（评判模型）。
- 规则显示“尚未确立”时就是失败了。INSUFFICIENT_EVIDENCE 表示区间仍跨越门槛，而不是系统没达到；oloproof plan 会告诉你还需要多少个用例才能判定。
- 成本或延迟，除非有规则要求。发布决策涵盖你的策略声明的规则；延迟分位数或每个被接受任务的成本的预算是你添加的 max: 规则（门禁）。
- 复用的答案是否仍然是最新的。缓存的输出或判断是之前那一个，因其输入的哈希相同而被复用；哈希看不到的变化（同一名称背后换了的模型、系统读取但不导入的文件、环境变量）不会被看到（版本、缓存键与失效）。
- 看过之后才选的切片。切片结果是在你所声明切片的声明校正下的结论；因为看起来有趣而挑出的切分不带这样的保证，而且切片从不决定门禁（切片）。
- 用例为何失败。评估器说明发生了什么；找出原因需要在对照旁进行干预，即便如此，Oloproof 指出的是一个有待检验的因素，而不是确立的原因。
- 把按时间排序的用例当作相互独立。声明了 time_order 的套件读作 MANUAL_REVIEW，而不是假设用例独立的区间（聚类用例）。
- 没有已认可区间的指标。需要区间的规则会返回 MANUAL_REVIEW 或 INSUFFICIENT_EVIDENCE 并附上原因，而不是借用未经验证的方法。