指南
NIST AI RMF 與 OSFI E-23
本頁逐項說明 Oloproof 針對 NIST AI RMF 的 Measure 職能與 OSFI 的 Guideline E-23 記錄了哪些證據,以及沒有記錄哪些證據。所依據的版本是 NIST AI Risk Management Framework 1.0(NIST AI 100-1,2023 年 1 月)與 Guideline E-23《Model Risk Management》(2025 年 9 月 11 日定稿,自 2027 年 5 月 1 日起對加拿大受聯邦監理的金融機構生效)。
本頁不是認證,不是對你合規情況的評估,也不是法律意見。框架要求的是遍及整個組織的實務;Oloproof 產生的是關於 AI 系統的證據,它只是這些實務的一部分。NIST 已表示 AI RMF 1.0 正在更新,因此請確認你所須遵循的版本。
如何閱讀這些表格
- 已記錄:Oloproof 依條目原文為該條目記錄證據,記錄在該列所列出的每一次執行或每一份紀錄中。
- 部分:Oloproof 記錄了該條目所要求內容的一部分;其餘部分在旁邊說明。
- 未涵蓋:該條目要求的是 Oloproof 不做的事情。
條目內容為轉述。在依賴某一列之前,請先閱讀框架本身的原文。
NIST AI RMF 1.0:Measure
| 條目 | 簡要要求 | Oloproof 記錄的內容 | 狀態 |
|---|---|---|---|
| MEASURE 1.1 | 針對 Map 職能所發現的風險選定指標 | 每次執行的指標規格、規則與發布政策,依摘要記錄。選擇它們由你負責 | 部分 |
| MEASURE 1.2 | 隨時間重新評估指標與控制措施 | 在評審或案例改變之處做出標記的趨勢;決策會在其證據過時時說明(CI 閘門) | 部分 |
| MEASURE 1.3 | 由未參與建構該系統的人進行評估 | 依據自身證據做出判定的工作區、依帳號計算的標註者,以及可由第二方離線核對的決策紀錄。這些人是誰,由你來安排 | 部分 |
| MEASURE 2.1 | 測試集、指標與工具有文件記錄 | 每次執行都依內容位址列出其測試套件、系統與評估器的版本、指標與方法,以及分析版本 | 已記錄 |
| MEASURE 2.2 | 對作為研究對象的人的保護 | 無 | 未涵蓋 |
| MEASURE 2.3 | 效能經過量測與證明 | 每條規則都依據區間做出判定:PASS、FAIL、INSUFFICIENT_EVIDENCE 或 MANUAL_REVIEW。測試套件是否與部署環境相似,由你判斷 | 部分 |
| MEASURE 2.4 | 監控正式環境中的行為 | 由人審查工作區從真實流量中抽取的樣本(評估正式環境) | 部分 |
| MEASURE 2.5 | 證明有效性與可靠性 | 附有分母的區間,以及在獲准做出判定之前先與人比對量測的評審(評審) | 部分 |
| MEASURE 2.6 | 定期評估安全風險 | 針對出錯情況的上限,在你的案例上做出判定;如果你有紅隊工具的評分,也會讀取它們(風險上限)。Oloproof 不撰寫攻擊 | 部分 |
| MEASURE 2.7 | 評估資安與韌性 | 僅透過針對你撰寫或匯入的案例所設定的上限 | 部分 |
| MEASURE 2.8 | 檢視透明度與問責 | 由兩位具名人員給出的簽核與核准,保存在一條鏈中,並隨決策紀錄一併攜帶 | 部分 |
| MEASURE 2.9 | 解釋模型並詮釋其輸出 | 依介入所做的診斷會指出與失敗有關的部分;它們不解釋任何模型 | 部分 |
| MEASURE 2.10 | 檢視隱私風險 | egress 政策把內容留在你這一側;不評估任何隱私風險 | 未涵蓋 |
| MEASURE 2.11 | 評估公平性與偏誤 | 在多重比較控制下量測所宣告的切片;怎樣的切片才算公平,由你決定 | 部分 |
| MEASURE 2.12 | 評估環境影響 | 記錄成本;不記錄能源 | 未涵蓋 |
| MEASURE 2.13 | 評估量測本身 | 依據人的標註驗證過的評審,以及每一種透過方法說明、覆蓋率網格與稽核而獲得認可的統計方法 | 部分 |
| MEASURE 3.1 | 隨時間追蹤風險 | 趨勢、時效與正式環境審查 | 部分 |
| MEASURE 3.2 | 難以量測的風險 | 證據無法判定的規則會如實說明(INSUFFICIENT_EVIDENCE、MANUAL_REVIEW),未能判定的區間會說明還需要多少案例才能做出判定 | 部分 |
| MEASURE 3.3 | 來自終端使用者的回饋 | 無 | 未涵蓋 |
| MEASURE 4.1 | 將量測與部署情境連結 | 來自你自己的審查者的標註;情境由你負責 | 部分 |
| MEASURE 4.2 | 結果參考了領域專家的意見 | 審查者的標註決定一個評審的價值 | 部分 |
| MEASURE 4.3 | 記錄改善與退步 | 將一項變更與線上版本所做的配對比較,附有區間(比較) | 已記錄 |
OSFI Guideline E-23(2027)
| 原則 | 簡要要求 | Oloproof 記錄的內容 | 狀態 |
|---|---|---|---|
| 1.1 至 1.3 | 呈報關係、模型風險框架、適合其用途的模型 | 針對某一用途的適用性證據:依據區間做出判定的發布政策規則。框架及其治理由你負責 | 部分 |
| 2.1 | 使用中模型的清冊 | 每個專案的系統版本,依評估它們的執行所記錄的內容列出。不是企業層級的清冊 | 部分 |
| 2.2 | 模型風險評等 | 無 | 未涵蓋 |
| 2.3 | 投入與風險相稱 | 每個專案一份政策:它的門檻、它的信賴水準,以及通過的發布是否需要兩個人核准 | 部分 |
| 3.1 | 有文件記錄的生命週期政策 | 發布政策是一個檔案,依摘要記錄,並隨依據它判定的每一個閘門一併記錄 | 部分 |
| 3.2 | 資料適合其用途 | 依內容進行版本管理的測試套件;它們是否適合該用途,由你判斷 | 部分 |
| 3.3 | 針對效能與文件的開發標準 | 附有門檻值的規則,以及每次執行的紀錄 | 部分 |
| 3.4 | 對健全性與效能的獨立審查 | 依據自己驗證過的證據做出判定的工作區閘門、由你的平台團隊註冊的 runner 簽署的執行,以及可由審查者離線核對的決策紀錄。審查職能由你負責 | 部分 |
| 3.5 | 具備品質控制與變更控制的部署 | 無:已簽署的執行證明的是 runner 執行了什麼,而不是正式環境中提供服務的是什麼 | 未涵蓋 |
| 3.6 | 監控與除役 | 用於監控的正式環境審查與時效;除役不在涵蓋範圍內 | 部分 |
| 核准 | 在使用之前核准,並確認剩餘風險 | 通過的發布可以等待兩位具名人員的核准,核准會被記錄並串接成鏈(要求核准通過的發布) | 部分 |