가이드
NIST AI RMF와 OSFI E-23
Oloproof가 NIST AI RMF의 Measure 기능과 OSFI의 지침 E-23을 위해 어떤 근거를 기록하는지 항목별로, 그리고 무엇을 기록하지 않는지를 설명합니다. 기준 판본은 NIST AI Risk Management Framework 1.0(NIST AI 100-1, 2023년 1월)과 Guideline E-23, Model Risk Management(2025년 9월 11일 최종본, 캐나다의 연방 규제 대상 금융기관에는 2027년 5월 1일부터 시행)입니다.
이것은 인증이 아니며, 여러분의 규정 준수에 대한 평가도 아니고, 법률 자문도 아닙니다. 프레임워크는 조직 전반에 걸친 관행을 요구합니다. Oloproof는 AI 시스템에 관한 근거를 만들어 내며, 이는 그 관행의 한 부분입니다. NIST는 AI RMF 1.0이 개정 중이라고 밝혔으므로, 여러분에게 적용되는 판본을 확인하십시오.
표 읽는 법
- 기록됨: Oloproof는 항목에 쓰인 그대로 그 항목에 대한 근거를, 항목이 지정하는 모든 실행 또는 기록에서 기록합니다.
- 부분적: Oloproof는 항목이 요구하는 것의 일부를 기록합니다. 나머지는 그 옆에 밝혀 둡니다.
- 다루지 않음: 항목이 Oloproof가 하지 않는 일을 요구합니다.
항목은 요약해 바꿔 쓴 것입니다. 어떤 행에 의존하기 전에 프레임워크의 원문을 읽으십시오.
NIST AI RMF 1.0: Measure 기능
| 항목 | 요구 사항 요약 | Oloproof가 기록하는 것 | 상태 |
|---|---|---|---|
| MEASURE 1.1 | Map 기능이 찾아낸 위험에 맞게 선택된 지표 | 각 실행의 지표 명세, 규칙, 릴리스 정책을 다이제스트로 기록합니다. 그것을 고르는 일은 여러분의 몫입니다 | 부분적 |
| MEASURE 1.2 | 시간에 따라 재평가되는 지표와 통제 | 심사 모델이나 케이스가 바뀐 지점에 붙는 추세상의 표시, 그리고 근거가 오래되었을 때 그렇다고 알려 주는 결정(CI 게이트) | 부분적 |
| MEASURE 1.3 | 시스템을 만들지 않은 사람에 의한 평가 | 자신의 근거로 결정하는 워크스페이스, 계정으로 세는 레이블러, 그리고 제2의 당사자가 오프라인에서 확인하는 판정 기록. 그 사람들이 누구인지는 여러분이 마련할 몫입니다 | 부분적 |
| MEASURE 2.1 | 문서화된 테스트 세트, 지표, 도구 | 모든 실행은 스위트, 시스템과 평가기 버전, 지표와 방법을 콘텐츠 주소로, 그리고 분석 버전을 밝힙니다 | 기록됨 |
| MEASURE 2.2 | 인간 대상자 보호 | 없음 | 다루지 않음 |
| MEASURE 2.3 | 측정되고 입증된 성능 | 모든 규칙은 구간으로 결정됩니다: PASS, FAIL, INSUFFICIENT_EVIDENCE 또는 MANUAL_REVIEW. 스위트가 배포 환경을 닮았는지는 여러분의 몫입니다 | 부분적 |
| MEASURE 2.4 | 운영 환경에서 모니터링되는 동작 | 워크스페이스가 실제 트래픽에서 추출한 표본을 사람이 검토합니다(운영 환경 평가하기) | 부분적 |
| MEASURE 2.5 | 입증된 타당성과 신뢰성 | 분모를 함께 밝힌 구간, 그리고 결정을 내리기 전에 사람과 대조해 측정되는 심사 모델(심사 모델) | 부분적 |
| MEASURE 2.6 | 정기적으로 평가되는 안전 위험 | 여러분의 케이스에서 결정되는, 잘못되는 일에 대한 상한선, 그리고 레드팀 도구의 채점이 있을 때 그것을 읽는 기능(위험 상한선). Oloproof는 공격을 작성하지 않습니다 | 부분적 |
| MEASURE 2.7 | 평가된 보안과 회복력 | 여러분이 작성하거나 가져온 케이스에 대한 상한선을 통해서만 | 부분적 |
| MEASURE 2.8 | 검토된 투명성과 책임성 | 이름이 밝혀진 두 사람의 재정의(sign-off)와 승인으로, 체인에 보관되고 판정 기록에 담깁니다 | 부분적 |
| MEASURE 2.9 | 설명된 모델과 해석된 출력 | 개입에 의한 진단은 실패에 연루된 부분을 지목합니다. 어떤 모델도 설명하지는 않습니다 | 부분적 |
| MEASURE 2.10 | 검토된 개인정보 위험 | egress 정책은 콘텐츠를 여러분 쪽에 둡니다. 개인정보 위험은 평가하지 않습니다 | 다루지 않음 |
| MEASURE 2.11 | 평가된 공정성과 편향 | 선언된 슬라이스를 다중성 통제와 함께 측정합니다. 무엇이 슬라이스를 공정하게 만드는지는 여러분의 몫입니다 | 부분적 |
| MEASURE 2.12 | 평가된 환경 영향 | 비용은 기록되고, 에너지는 기록되지 않습니다 | 다루지 않음 |
| MEASURE 2.13 | 평가된 측정 자체 | 사람의 레이블에 대해 검증된 심사 모델, 그리고 노트, 커버리지 그리드, 감사로 채택된 각 통계 방법 | 부분적 |
| MEASURE 3.1 | 시간에 따라 추적되는 위험 | 추세, 근거의 최신성, 운영 환경 검토 | 부분적 |
| MEASURE 3.2 | 측정하기 어려운 위험 | 근거로 결정할 수 없는 규칙은 그렇다고 말하며(INSUFFICIENT_EVIDENCE, MANUAL_REVIEW), 결정되지 않은 구간은 결정하려면 케이스가 얼마나 더 필요한지 말합니다 | 부분적 |
| MEASURE 3.3 | 최종 사용자의 피드백 | 없음 | 다루지 않음 |
| MEASURE 4.1 | 배포 맥락에 연결된 측정 | 여러분 자신의 검토자가 붙인 레이블. 맥락은 여러분의 몫입니다 | 부분적 |
| MEASURE 4.2 | 도메인 전문가가 반영된 결과 | 검토자의 레이블이 심사 모델의 가치를 결정합니다 | 부분적 |
| MEASURE 4.3 | 문서화된 개선과 저하 | 변경을 현재 운영 중인 것과 비교하는, 짝지은 구간이 있는 비교(비교) | 기록됨 |
OSFI 지침 E-23 (2027)
| 원칙 | 요구 사항 요약 | Oloproof가 기록하는 것 | 상태 |
|---|---|---|---|
| 1.1부터 1.3까지 | 보고 체계, 모델 위험 프레임워크, 목적에 맞는 모델 | 한 가지 목적에 대한 적합성의 근거: 구간으로 결정되는 릴리스 정책의 규칙. 프레임워크와 그 거버넌스는 여러분의 몫입니다 | 부분적 |
| 2.1 | 사용 중인 모델의 목록 | 각 프로젝트의 시스템 버전으로, 그것을 평가한 실행이 기록한 그대로입니다. 전사적 목록은 아닙니다 | 부분적 |
| 2.2 | 모델 위험 등급 | 없음 | 다루지 않음 |
| 2.3 | 위험에 비례하는 노력 | 프로젝트별 정책: 그 기준, 신뢰 수준, 통과한 릴리스에 두 사람의 승인이 필요한지 여부 | 부분적 |
| 3.1 | 문서화된 수명 주기 정책 | 릴리스 정책은 파일이며, 그 정책으로 결정된 모든 게이트와 함께 다이제스트로 기록됩니다 | 부분적 |
| 3.2 | 용도에 적합한 데이터 | 콘텐츠로 버전이 매겨지는 스위트. 그것이 용도에 맞는지는 여러분의 몫입니다 | 부분적 |
| 3.3 | 성능과 문서화를 위한 개발 표준 | 임계값이 있는 규칙, 그리고 모든 실행의 기록 | 부분적 |
| 3.4 | 건전성과 성능에 대한 독립 검토 | 스스로 검증한 근거로 결정하는 워크스페이스 게이트, 여러분의 플랫폼 팀이 등록한 러너가 서명한 실행, 그리고 검토자가 오프라인에서 확인하는 판정 기록. 검토 기능은 여러분의 몫입니다 | 부분적 |
| 3.5 | 품질 관리와 변경 관리를 갖춘 배포 | 없음: 서명된 실행은 러너가 수행한 것을 증명할 뿐, 운영 환경에서 서비스되는 것을 증명하지 않습니다 | 다루지 않음 |
| 3.6 | 모니터링과 폐기 | 모니터링에는 운영 환경 검토와 근거의 최신성. 폐기는 다루지 않습니다 | 부분적 |
| 승인 | 잔여 위험을 확인한 상태에서의 사용 전 승인 | 통과한 릴리스는 이름이 밝혀진 두 사람의 승인을 기다릴 수 있으며, 그 승인은 기록되고 체인으로 연결됩니다(CI 게이트) | 부분적 |