Hướng dẫn
NIST AI RMF và OSFI E-23
Những bằng chứng mà Oloproof ghi lại cho chức năng Measure của NIST AI RMF và cho Hướng dẫn E-23 của OSFI, theo từng mục, cùng những gì nó không ghi lại. Các phiên bản được dùng là NIST AI Risk Management Framework 1.0 (NIST AI 100-1, tháng 1 năm 2023) và Guideline E-23, Model Risk Management (bản cuối cùng ngày 11 tháng 9 năm 2025, có hiệu lực từ ngày 1 tháng 5 năm 2027 đối với các tổ chức tài chính chịu sự quản lý của liên bang tại Canada).
Đây không phải là một chứng nhận, không phải là một đánh giá về sự tuân thủ của bạn và không phải là tư vấn pháp lý. Một khung yêu cầu các thực hành trên toàn bộ một tổ chức; Oloproof tạo ra bằng chứng về các hệ thống AI, vốn chỉ là một phần của những thực hành đó. NIST đã cho biết AI RMF 1.0 đang được cập nhật, nên hãy kiểm tra phiên bản mà bạn phải tuân theo.
Cách đọc các bảng
- Đã ghi lại: Oloproof ghi lại bằng chứng cho mục đúng như nó được viết, trong mọi lần chạy hoặc bản ghi mà nó nêu tên.
- Một phần: Oloproof ghi lại một phần những gì mục đó yêu cầu; phần còn lại được nói rõ bên cạnh.
- Không bao quát: mục đó yêu cầu một điều mà Oloproof không làm.
Các mục được diễn giải lại. Hãy đọc văn bản gốc của khung trước khi dựa vào một hàng.
NIST AI RMF 1.0: chức năng Measure
| Mục | Nội dung yêu cầu, tóm tắt | Những gì Oloproof ghi lại | Trạng thái |
|---|---|---|---|
| MEASURE 1.1 | Các chỉ số được chọn cho những rủi ro mà chức năng Map đã tìm ra | Các đặc tả chỉ số, quy tắc và chính sách phát hành của mỗi lần chạy, theo digest. Việc chọn chúng là phần của bạn | Một phần |
| MEASURE 1.2 | Các chỉ số và biện pháp kiểm soát được đánh giá lại theo thời gian | Các dấu trên xu hướng tại nơi giám khảo hoặc các trường hợp đã thay đổi; một quyết định cho biết khi nào bằng chứng của nó đã lỗi thời (Cổng trong CI) | Một phần |
| MEASURE 1.3 | Đánh giá bởi những người không xây dựng hệ thống | Một không gian làm việc quyết định dựa trên bằng chứng của chính nó, những người gán nhãn được tính theo tài khoản, và một bản ghi quyết định mà một bên thứ hai kiểm tra ngoại tuyến. Những người đó là ai thì do bạn sắp xếp | Một phần |
| MEASURE 2.1 | Các tập kiểm thử, chỉ số và công cụ được ghi chép | Mọi lần chạy nêu tên bộ kiểm thử, các phiên bản hệ thống và bộ đánh giá, các chỉ số và phương pháp của nó theo địa chỉ nội dung, cùng phiên bản phân tích | Đã ghi lại |
| MEASURE 2.2 | Bảo vệ các đối tượng là con người | Không có gì | Không bao quát |
| MEASURE 2.3 | Hiệu năng được đo và chứng minh | Mọi quy tắc được quyết định dựa trên một khoảng: PASS, FAIL, INSUFFICIENT_EVIDENCE hoặc MANUAL_REVIEW. Việc bộ kiểm thử có giống với môi trường triển khai hay không là phần của bạn | Một phần |
| MEASURE 2.4 | Hành vi được giám sát trong production | Con người xem xét một mẫu mà không gian làm việc rút ra từ lưu lượng thực (Đánh giá production) | Một phần |
| MEASURE 2.5 | Tính hợp lệ và độ tin cậy được chứng minh | Các khoảng cùng mẫu số của chúng, và các giám khảo được đo so với con người trước khi chúng được phép quyết định (Giám khảo) | Một phần |
| MEASURE 2.6 | Các rủi ro an toàn được đánh giá thường xuyên | Các mức trần cho những gì đi sai, được quyết định trên các trường hợp của bạn, và các điểm chấm của một công cụ red team được đọc khi bạn có chúng (Mức trần rủi ro). Oloproof không viết cuộc tấn công nào | Một phần |
| MEASURE 2.7 | Bảo mật và khả năng chống chịu được đánh giá | Chỉ thông qua các mức trần trên những trường hợp mà bạn viết hoặc nhập vào | Một phần |
| MEASURE 2.8 | Tính minh bạch và trách nhiệm giải trình được xem xét | Các phê duyệt (sign-off) và chấp thuận bởi hai người có tên, được giữ trong một chuỗi và được mang trong bản ghi quyết định | Một phần |
| MEASURE 2.9 | Mô hình được giải thích và đầu ra của nó được diễn giải | Các chẩn đoán bằng can thiệp nêu tên bộ phận liên quan đến các thất bại; chúng không giải thích mô hình nào | Một phần |
| MEASURE 2.10 | Rủi ro về quyền riêng tư được xem xét | Chính sách egress giữ nội dung ở phía bạn; không có rủi ro quyền riêng tư nào được đánh giá | Không bao quát |
| MEASURE 2.11 | Tính công bằng và thiên lệch được đánh giá | Các lát cắt đã khai báo được đo với kiểm soát đa phép kiểm định; điều gì làm cho một lát cắt công bằng là phần của bạn | Một phần |
| MEASURE 2.12 | Tác động môi trường được đánh giá | Chi phí được ghi lại; năng lượng thì không | Không bao quát |
| MEASURE 2.13 | Bản thân phép đo được đánh giá | Các giám khảo được xác thực so với nhãn của con người, và mỗi phương pháp thống kê được thừa nhận bằng một ghi chú, một lưới độ phủ và một đợt kiểm toán | Một phần |
| MEASURE 3.1 | Các rủi ro được theo dõi theo thời gian | Xu hướng, độ mới của bằng chứng và việc xem xét production | Một phần |
| MEASURE 3.2 | Những rủi ro khó đo | Một quy tắc mà bằng chứng không thể quyết định sẽ nói rõ điều đó (INSUFFICIENT_EVIDENCE, MANUAL_REVIEW), và một khoảng chưa được quyết định cho biết cần thêm bao nhiêu trường hợp nữa để quyết định nó | Một phần |
| MEASURE 3.3 | Phản hồi từ người dùng cuối | Không có gì | Không bao quát |
| MEASURE 4.1 | Phép đo gắn với bối cảnh triển khai | Nhãn từ chính những người xem xét của bạn; bối cảnh là phần của bạn | Một phần |
| MEASURE 4.2 | Kết quả có sự đóng góp của các chuyên gia lĩnh vực | Nhãn của những người xem xét quyết định một giám khảo đáng giá đến đâu | Một phần |
| MEASURE 4.3 | Các cải thiện và suy giảm được ghi chép | Các phép so sánh một thay đổi với những gì đang chạy thực tế, theo cặp, kèm khoảng (So sánh) | Đã ghi lại |
Hướng dẫn E-23 của OSFI (2027)
| Nguyên tắc | Nội dung yêu cầu, tóm tắt | Những gì Oloproof ghi lại | Trạng thái |
|---|---|---|---|
| 1.1 đến 1.3 | Các tuyến báo cáo, một khung quản lý rủi ro mô hình, các mô hình phù hợp với mục đích của chúng | Bằng chứng về sự phù hợp cho một mục đích: các quy tắc của một chính sách phát hành được quyết định dựa trên các khoảng. Khung và việc quản trị nó là phần của bạn | Một phần |
| 2.1 | Một danh mục các mô hình đang được sử dụng | Các phiên bản hệ thống của mỗi dự án, đúng như các lần chạy đã đánh giá chúng ghi lại. Không phải một danh mục cấp doanh nghiệp | Một phần |
| 2.2 | Một xếp hạng rủi ro mô hình | Không có gì | Không bao quát |
| 2.3 | Công sức tương xứng với rủi ro | Một chính sách cho mỗi dự án: các ngưỡng của nó, mức tin cậy của nó, và việc một bản phát hành đạt có cần hai người phê duyệt hay không | Một phần |
| 3.1 | Các chính sách vòng đời, được ghi chép | Chính sách phát hành là một tệp, được ghi lại theo digest cùng mọi cổng được quyết định theo nó | Một phần |
| 3.2 | Dữ liệu phù hợp với mục đích sử dụng | Các bộ kiểm thử được phiên bản hóa theo nội dung; việc chúng có phù hợp với mục đích sử dụng hay không là phần của bạn | Một phần |
| 3.3 | Các tiêu chuẩn phát triển cho hiệu năng và tài liệu | Các quy tắc có ngưỡng, và bản ghi của mọi lần chạy | Một phần |
| 3.4 | Xem xét độc lập về tính đúng đắn và hiệu năng | Một cổng của không gian làm việc quyết định dựa trên bằng chứng mà chính nó đã xác minh, các lần chạy được ký bởi một runner mà đội nền tảng của bạn đăng ký, và một bản ghi quyết định mà một người xem xét kiểm tra ngoại tuyến. Chức năng xem xét là phần của bạn | Một phần |
| 3.5 | Triển khai có kiểm soát chất lượng và kiểm soát thay đổi | Không có gì: một lần chạy đã ký chứng thực những gì một runner đã thực thi, không phải những gì đang phục vụ production | Không bao quát |
| 3.6 | Giám sát và ngừng sử dụng | Việc xem xét production và độ mới của bằng chứng cho việc giám sát; việc ngừng sử dụng không được bao quát | Một phần |
| Phê duyệt | Phê duyệt trước khi sử dụng, với rủi ro còn lại được xác nhận | Một bản phát hành đạt có thể chờ hai người có tên phê duyệt, được ghi lại và nối chuỗi (Cổng trong CI) | Một phần |
Tiếp theo
- Cổng trong CI: chính sách phát hành, các phê duyệt và bản ghi quyết định.
- Mức trần rủi ro: những gì một mức trần quyết định và những gì nó không nói.
- Những gì hoạt động hôm nay: mọi thứ đã được xây dựng, và những gì chưa.