ガイド
NIST AI RMF と OSFI E-23
このページは、Oloproof が NIST AI RMF の Measure 機能と OSFI の Guideline E-23 に向けて記録するエビデンスと、記録しないものを、項目ごとに示します。対象とする版は、NIST AI Risk Management Framework 1.0（NIST AI 100-1、2023 年 1 月）と、Guideline E-23「Model Risk Management」（2025 年 9 月 11 日に最終版、カナダの連邦規制金融機関に対して 2027 年 5 月 1 日から施行）です。
これは認証ではなく、あなたのコンプライアンスの評価でもなく、法的助言でもありません。フレームワークは組織全体にわたる実践を求めます。Oloproof が生み出すのは AI システムについてのエビデンスであり、それはそうした実践の一部にすぎません。NIST は AI RMF 1.0 を改訂中であると述べているので、あなたに適用される版を確認してください。
表の読み方
- 記録済み: Oloproof は、書かれたとおりの項目についてエビデンスを、その行が挙げるすべての実行または記録に記録します。
- 一部: Oloproof は、項目が求めるものの一部を記録します。残りについてはその横に記しています。
- 対象外: 項目が求めているのは、Oloproof が行わないことです。
項目は要約して言い換えています。ある行に依拠する前に、フレームワーク自体の本文を読んでください。
NIST AI RMF 1.0: Measure
| 項目 | 求めていること（要約） | Oloproof が記録するもの | 状態 |
|---|---|---|---|
| MEASURE 1.1 | Map 機能が見つけたリスクに応じて選ばれたメトリクス | 各実行のメトリクス仕様、ルール、リリースポリシーを、ダイジェストで記録します。それらを選ぶのはあなたです | 一部 |
| MEASURE 1.2 | 時間の経過とともに見直されるメトリクスと管理策 | ジャッジやケースが変わった箇所を示すトレンドの印。判断は、そのエビデンスが古くなったときにそう示します（CI のゲート） | 一部 |
| MEASURE 1.3 | システムを構築していない人による評価 | 自身のエビデンスに基づいて判断するワークスペース、アカウントによって数えられるラベル付け担当者、そして第三者がオフラインで確認する判断の記録。それらの人が誰であるかを手配するのはあなたです | 一部 |
| MEASURE 2.1 | テストセット、メトリクス、ツールが文書化されていること | すべての実行が、そのスイート、システムと評価器のバージョン、メトリクスと手法をコンテンツアドレスで示し、分析のバージョンも示します | 記録済み |
| MEASURE 2.2 | 被験者となる人の保護 | なし | 対象外 |
| MEASURE 2.3 | 性能が測定され、実証されていること | すべてのルールは区間に基づいて PASS、FAIL、INSUFFICIENT_EVIDENCE、MANUAL_REVIEW のいずれかに判断されます。スイートがデプロイ先に似ているかどうかはあなたが判断します | 一部 |
| MEASURE 2.4 | 本番環境での挙動の監視 | ワークスペースが実際のトラフィックから抽出したサンプルを人がレビューします（本番環境を評価する） | 一部 |
| MEASURE 2.5 | 妥当性と信頼性の実証 | 分母を伴う区間と、判断を許される前に人と照らし合わせて測定されるジャッジ（ジャッジ） | 一部 |
| MEASURE 2.6 | 安全性リスクの定期的な評価 | あなたのケースについて判断される、うまくいかないことへの上限と、レッドチームツールの採点がある場合にはその読み込み（リスク上限）。Oloproof は攻撃を作成しません | 一部 |
| MEASURE 2.7 | セキュリティとレジリエンスの評価 | あなたが書いた、またはインポートしたケースに対する上限を通じてのみ | 一部 |
| MEASURE 2.8 | 透明性と説明責任の検証 | 名前の記された二人によるサインオフと承認。チェーンに保持され、判断の記録に含まれます | 一部 |
| MEASURE 2.9 | モデルの説明と、その出力の解釈 | 介入による診断は、失敗に関与した部分を特定します。どのモデルも説明しません | 一部 |
| MEASURE 2.10 | プライバシーリスクの検討 | egress ポリシーはコンテンツをあなたの側に留めます。プライバシーリスクは評価しません | 対象外 |
| MEASURE 2.11 | 公平性とバイアスの評価 | 宣言されたスライスを、多重性を制御して測定します。何がスライスを公平にするかはあなたが決めます | 一部 |
| MEASURE 2.12 | 環境への影響の評価 | コストは記録されます。エネルギーは記録されません | 対象外 |
| MEASURE 2.13 | 測定そのものの評価 | 人のラベルに照らして検証されたジャッジと、手法ノート、カバレッジグリッド、監査によって認められた各統計手法 | 一部 |
| MEASURE 3.1 | 時間を通じたリスクの追跡 | トレンド、鮮度、本番環境のレビュー | 一部 |
| MEASURE 3.2 | 測定が難しいリスク | エビデンスで判断できないルールはそう示し（INSUFFICIENT_EVIDENCE、MANUAL_REVIEW）、決まらなかった区間は、あと何ケースあれば決着がつくかを示します | 一部 |
| MEASURE 3.3 | エンドユーザーからのフィードバック | なし | 対象外 |
| MEASURE 4.1 | デプロイの文脈に結び付いた測定 | あなた自身のレビュー担当者によるラベル。文脈はあなたが担います | 一部 |
| MEASURE 4.2 | ドメインの専門家の知見を踏まえた結果 | レビュー担当者のラベルが、ジャッジにどれだけの価値があるかを決めます | 一部 |
| MEASURE 4.3 | 改善と低下の文書化 | 変更を稼働中のものと比較する、ペアにした区間付きの比較（比較） | 記録済み |
OSFI Guideline E-23（2027）
| 原則 | 求めていること（要約） | Oloproof が記録するもの | 状態 |
|---|---|---|---|
| 1.1 から 1.3 | 報告系統、モデルリスクのフレームワーク、目的に適合したモデル | ある一つの目的に対する適合性のエビデンス、すなわち区間に基づいて判断されるリリースポリシーのルール。フレームワークとそのガバナンスはあなたが担います | 一部 |
| 2.1 | 使用中のモデルの一覧 | 各プロジェクトのシステムバージョンを、それらを評価した実行が記録したとおりに示します。全社的なインベントリではありません | 一部 |
| 2.2 | モデルリスクの格付け | なし | 対象外 |
| 2.3 | リスクに比例した取り組み | プロジェクトごとのポリシー。その基準、その信頼水準、合格したリリースに二人の承認が必要かどうか | 一部 |
| 3.1 | 文書化されたライフサイクルのポリシー | リリースポリシーはファイルであり、それに基づいて判断されたすべてのゲートとともに、ダイジェストで記録されます | 一部 |
| 3.2 | 用途に適したデータ | コンテンツによってバージョン管理されたスイート。用途に適しているかどうかはあなたが判断します | 一部 |
| 3.3 | 性能と文書化のための開発標準 | しきい値を持つルールと、すべての実行の記録 | 一部 |
| 3.4 | 健全性と性能の独立したレビュー | 自ら検証したエビデンスに基づいて判断するワークスペースのゲート、プラットフォームチームが登録したランナーが署名した実行、そしてレビュー担当者がオフラインで確認する判断の記録。レビュー機能はあなたが担います | 一部 |
| 3.5 | 品質管理と変更管理を伴うデプロイ | なし。署名された実行が証明するのはランナーが何を実行したかであり、本番環境で何が提供されているかではありません | 対象外 |
| 3.6 | 監視と廃止 | 監視のための本番環境のレビューと鮮度。廃止は対象外です | 一部 |
| 承認 | 残存リスクを確認したうえでの、使用前の承認 | 合格したリリースは、名前の記された二人の承認を待つことができ、その承認は記録されてチェーンに連なります（合格したリリースに承認を求める） | 一部 |