指南
NIST AI RMF 与 OSFI E-23
本页逐项说明 Oloproof 针对 NIST AI RMF 的 Measure 职能和 OSFI 的 Guideline E-23 记录了哪些证据，以及没有记录哪些证据。所依据的版本是 NIST AI Risk Management Framework 1.0（NIST AI 100-1，2023 年 1 月）和 Guideline E-23《Model Risk Management》（2025 年 9 月 11 日定稿，自 2027 年 5 月 1 日起对加拿大受联邦监管的金融机构生效）。
本页不是认证，不是对你合规情况的评估，也不是法律意见。框架要求的是贯穿整个组织的实践；Oloproof 产出的是关于 AI 系统的证据，它只是这些实践的一部分。NIST 已表示 AI RMF 1.0 正在更新，因此请核实你所须遵循的版本。
如何阅读这些表格
- 已记录：Oloproof 按条目原文为该条目记录证据，记录在该行所列的每一次运行或每一份记录中。
- 部分：Oloproof 记录了该条目所要求内容的一部分；其余部分在旁边说明。
- 未涵盖：该条目要求的是 Oloproof 不做的事情。
条目内容为转述。在依赖某一行之前，请先阅读框架本身的原文。
NIST AI RMF 1.0：Measure
| 条目 | 简要要求 | Oloproof 记录的内容 | 状态 |
|---|---|---|---|
| MEASURE 1.1 | 针对 Map 职能所发现的风险选定指标 | 每次运行的指标规格、规则和发布策略，按摘要记录。选择它们由你负责 | 部分 |
| MEASURE 1.2 | 随时间重新评估指标和控制措施 | 在评判模型或用例发生变化之处做出标记的趋势；决策会在其证据过时时说明（CI 门禁） | 部分 |
| MEASURE 1.3 | 由未参与构建该系统的人进行评估 | 依据自身证据作出决策的工作区、按账户计数的标注者，以及可由第二方离线核查的决策记录。这些人是谁，由你来安排 | 部分 |
| MEASURE 2.1 | 测试集、指标和工具有文档记录 | 每次运行都按内容地址列出其测试套件、系统和评估器的版本、指标和方法，以及分析版本 | 已记录 |
| MEASURE 2.2 | 对作为研究对象的人的保护 | 无 | 未涵盖 |
| MEASURE 2.3 | 性能得到度量和证明 | 每条规则都依据区间作出决定：PASS、FAIL、INSUFFICIENT_EVIDENCE 或 MANUAL_REVIEW。测试套件是否与部署环境相似，由你判断 | 部分 |
| MEASURE 2.4 | 监控生产环境中的行为 | 由人评审工作区从真实流量中抽取的样本（评估生产环境） | 部分 |
| MEASURE 2.5 | 证明有效性和可靠性 | 带有分母的区间，以及在获准作出决定之前先与人对照度量的评判模型（评判模型） | 部分 |
| MEASURE 2.6 | 定期评估安全风险 | 针对出错情况的上限，在你的用例上作出决定；如果你有红队工具的评分，也会读取它们（风险上限）。Oloproof 不编写攻击 | 部分 |
| MEASURE 2.7 | 评估安全性和韧性 | 仅通过针对你编写或导入的用例设定的上限 | 部分 |
| MEASURE 2.8 | 审视透明度和问责 | 由两位具名人员给出的签字确认和批准，保存在一条链中，并随决策记录一并携带 | 部分 |
| MEASURE 2.9 | 解释模型并解读其输出 | 基于干预的诊断会指出与失败有关的部分；它们不解释任何模型 | 部分 |
| MEASURE 2.10 | 审视隐私风险 | 出站（egress）策略将内容保留在你这一侧；不评估任何隐私风险 | 未涵盖 |
| MEASURE 2.11 | 评估公平性和偏差 | 在多重性控制下度量所声明的切片；怎样的切片才算公平，由你决定 | 部分 |
| MEASURE 2.12 | 评估环境影响 | 记录成本；不记录能耗 | 未涵盖 |
| MEASURE 2.13 | 评估度量本身 | 依据人的标签验证过的评判模型，以及每一种通过方法说明、覆盖率网格和审计而获得认可的统计方法 | 部分 |
| MEASURE 3.1 | 随时间跟踪风险 | 趋势、时效和生产环境评审 | 部分 |
| MEASURE 3.2 | 难以度量的风险 | 证据无法决定的规则会如实说明（INSUFFICIENT_EVIDENCE、MANUAL_REVIEW），未能决定的区间会说明还需要多少用例才能作出决定 | 部分 |
| MEASURE 3.3 | 来自最终用户的反馈 | 无 | 未涵盖 |
| MEASURE 4.1 | 将度量与部署情境联系起来 | 来自你自己的评审者的标签；情境由你负责 | 部分 |
| MEASURE 4.2 | 结果参考了领域专家的意见 | 评审者的标签决定一个评判模型的价值 | 部分 |
| MEASURE 4.3 | 记录改进和退步 | 将一项变更与线上版本进行的配对比较，带有区间（比较） | 已记录 |
OSFI Guideline E-23（2027）
| 原则 | 简要要求 | Oloproof 记录的内容 | 状态 |
|---|---|---|---|
| 1.1 至 1.3 | 汇报关系、模型风险框架、适合其用途的模型 | 针对某一用途的适用性证据：依据区间作出决定的发布策略规则。框架及其治理由你负责 | 部分 |
| 2.1 | 在用模型的清单 | 每个项目的系统版本，按评估它们的运行所记录的内容列出。不是企业级清单 | 部分 |
| 2.2 | 模型风险评级 | 无 | 未涵盖 |
| 2.3 | 投入与风险相称 | 每个项目一份策略：它的门槛、它的置信水平，以及通过的发布是否需要两个人批准 | 部分 |
| 3.1 | 有文档记录的生命周期策略 | 发布策略是一个文件，按摘要记录，并随依据它作出决定的每一个门禁一并记录 | 部分 |
| 3.2 | 数据适合其用途 | 按内容进行版本管理的测试套件；它们是否适合该用途，由你判断 | 部分 |
| 3.3 | 针对性能和文档的开发标准 | 带有阈值的规则，以及每次运行的记录 | 部分 |
| 3.4 | 对稳健性和性能的独立审查 | 依据自己核验过的证据作出决定的工作区门禁、由你的平台团队注册的 runner 签名的运行，以及可由审查者离线核查的决策记录。审查职能由你负责 | 部分 |
| 3.5 | 带有质量控制和变更控制的部署 | 无：签名的运行证明的是 runner 执行了什么，而不是生产环境中提供服务的是什么 | 未涵盖 |
| 3.6 | 监控与退役 | 用于监控的生产环境评审和时效；退役不在涵盖范围内 | 部分 |
| 批准 | 在使用之前批准，并确认剩余风险 | 通过的发布可以等待两位具名人员的批准，批准会被记录并串接成链（要求批准通过的发布） | 部分 |