Panduan
NIST AI RMF dan OSFI E-23
Bukti apa yang dicatat Oloproof untuk fungsi Measure dalam NIST AI RMF dan untuk Guideline E-23 dari OSFI, butir demi butir, serta apa yang tidak dicatatnya. Edisinya adalah NIST AI Risk Management Framework 1.0 (NIST AI 100-1, Januari 2023) dan Guideline E-23, Model Risk Management (versi final 11 September 2025, berlaku mulai 1 Mei 2027 bagi lembaga keuangan yang diatur secara federal di Kanada).
Ini bukan sertifikasi, bukan penilaian atas kepatuhan Anda, dan bukan nasihat hukum. Sebuah kerangka kerja meminta praktik di seluruh organisasi; Oloproof menghasilkan bukti tentang sistem AI, yang merupakan satu bagian dari praktik tersebut. NIST telah menyatakan bahwa AI RMF 1.0 sedang diperbarui, jadi periksa edisi yang berlaku bagi Anda.
Cara membaca tabel
- Tercatat: Oloproof mencatat bukti untuk butir itu sebagaimana tertulis, di setiap eksekusi atau catatan yang disebutkannya.
- Sebagian: Oloproof mencatat sebagian dari apa yang diminta butir itu; sisanya dinyatakan di sampingnya.
- Tidak tercakup: butir itu meminta sesuatu yang tidak dilakukan Oloproof.
Butir-butirnya diparafrasekan. Baca teks kerangka kerja itu sendiri sebelum mengandalkan sebuah baris.
NIST AI RMF 1.0: Measure
| Butir | Apa yang diminta, singkatnya | Apa yang dicatat Oloproof | Status |
|---|---|---|---|
| MEASURE 1.1 | Metrik yang dipilih untuk risiko yang ditemukan fungsi Map | Spesifikasi metrik, aturan, dan kebijakan rilis setiap eksekusi, berdasarkan digest. Memilihnya adalah urusan Anda | Sebagian |
| MEASURE 1.2 | Metrik dan kontrol dinilai ulang dari waktu ke waktu | Tren menandai di mana juri atau kasus-kasusnya berubah; keputusan menyatakan kapan buktinya usang (Gerbang) | Sebagian |
| MEASURE 1.3 | Penilaian oleh orang yang tidak membangun sistem itu | Ruang kerja yang memutuskan berdasarkan buktinya sendiri, pelabel yang dihitung per akun, dan catatan keputusan yang diperiksa pihak kedua secara offline. Siapa orang-orang itu adalah urusan Anda untuk diatur | Sebagian |
| MEASURE 2.1 | Set uji, metrik, dan alat terdokumentasi | Setiap eksekusi menyebutkan versi suite, sistem, dan evaluatornya, metrik dan metode berdasarkan alamat konten, serta versi analisis | Tercatat |
| MEASURE 2.2 | Perlindungan subjek manusia | Tidak ada | Tidak tercakup |
| MEASURE 2.3 | Kinerja diukur dan ditunjukkan | Setiap aturan diputuskan atas sebuah interval: PASS, FAIL, INSUFFICIENT_EVIDENCE, atau MANUAL_REVIEW. Apakah suite menyerupai lingkungan penerapan adalah urusan Anda | Sebagian |
| MEASURE 2.4 | Perilaku dipantau di produksi | Orang meninjau sampel yang diambil ruang kerja dari lalu lintas nyata (Mengevaluasi produksi) | Sebagian |
| MEASURE 2.5 | Validitas dan reliabilitas ditunjukkan | Interval beserta penyebutnya, dan juri yang diukur terhadap manusia sebelum boleh memutuskan (Juri) | Sebagian |
| MEASURE 2.6 | Risiko keselamatan dievaluasi secara berkala | Plafon atas hal yang berjalan salah, diputuskan pada kasus Anda, dan penilaian tool red team yang dibaca bila Anda memilikinya (Plafon risiko). Oloproof tidak menulis serangan | Sebagian |
| MEASURE 2.7 | Keamanan dan ketahanan dievaluasi | Hanya melalui plafon pada kasus yang Anda tulis atau impor | Sebagian |
| MEASURE 2.8 | Transparansi dan akuntabilitas diperiksa | Sign-off dan persetujuan oleh dua orang yang disebutkan namanya, disimpan dalam sebuah rantai dan dibawa dalam catatan keputusan | Sebagian |
| MEASURE 2.9 | Model dijelaskan dan outputnya ditafsirkan | Diagnosis melalui intervensi menyebutkan bagian yang terlibat dalam kegagalan; diagnosis itu tidak menjelaskan model apa pun | Sebagian |
| MEASURE 2.10 | Risiko privasi diperiksa | Kebijakan egress menjaga konten tetap di sisi Anda; tidak ada risiko privasi yang dinilai | Tidak tercakup |
| MEASURE 2.11 | Keadilan dan bias dievaluasi | Irisan yang dideklarasikan diukur dengan kontrol multiplisitas; apa yang membuat sebuah irisan adil adalah urusan Anda | Sebagian |
| MEASURE 2.12 | Dampak lingkungan dinilai | Biaya dicatat; energi tidak | Tidak tercakup |
| MEASURE 2.13 | Pengukuran itu sendiri dievaluasi | Juri yang divalidasi terhadap label dari manusia, dan setiap metode statistik diterima melalui sebuah catatan metode, grid cakupan, dan audit | Sebagian |
| MEASURE 3.1 | Risiko dilacak dari waktu ke waktu | Tren, kebaruan, dan tinjauan produksi | Sebagian |
| MEASURE 3.2 | Risiko yang sulit diukur | Aturan yang tidak dapat diputuskan oleh bukti menyatakannya (INSUFFICIENT_EVIDENCE, MANUAL_REVIEW), dan interval yang belum terputuskan menyebut berapa banyak kasus lagi yang akan memutuskannya | Sebagian |
| MEASURE 3.3 | Umpan balik dari pengguna akhir | Tidak ada | Tidak tercakup |
| MEASURE 4.1 | Pengukuran yang terkait dengan konteks penerapan | Label dari peninjau Anda sendiri; konteksnya adalah urusan Anda | Sebagian |
| MEASURE 4.2 | Hasil yang diperkaya oleh pakar domain | Label para peninjau menentukan seberapa berharga sebuah juri | Sebagian |
| MEASURE 4.3 | Perbaikan dan penurunan didokumentasikan | Perbandingan sebuah perubahan terhadap apa yang sedang berjalan, berpasangan, dengan interval (Membandingkan) | Tercatat |
OSFI Guideline E-23 (2027)
| Prinsip | Apa yang diminta, singkatnya | Apa yang dicatat Oloproof | Status |
|---|---|---|---|
| 1.1 sampai 1.3 | Jalur pelaporan, kerangka kerja risiko model, model yang sesuai dengan tujuannya | Bukti kesesuaian untuk satu tujuan: aturan-aturan kebijakan rilis yang diputuskan atas interval. Kerangka kerja dan tata kelolanya adalah urusan Anda | Sebagian |
| 2.1 | Inventaris model yang sedang digunakan | Versi sistem setiap proyek, sebagaimana dicatat oleh eksekusi yang mengevaluasinya. Bukan inventaris tingkat perusahaan | Sebagian |
| 2.2 | Pemeringkatan risiko model | Tidak ada | Tidak tercakup |
| 2.3 | Upaya yang sepadan dengan risiko | Kebijakan per proyek: ambangnya, tingkat kepercayaannya, apakah rilis yang lolos memerlukan persetujuan dua orang | Sebagian |
| 3.1 | Kebijakan siklus hidup, terdokumentasi | Kebijakan rilis adalah sebuah file, dicatat berdasarkan digest bersama setiap gerbang yang diputuskan di bawahnya | Sebagian |
| 3.2 | Data yang sesuai untuk penggunaannya | Suite yang diberi versi berdasarkan konten; apakah suite itu sesuai untuk penggunaannya adalah urusan Anda | Sebagian |
| 3.3 | Standar pengembangan untuk kinerja dan dokumentasi | Aturan dengan ambang batas, dan catatan setiap eksekusi | Sebagian |
| 3.4 | Tinjauan independen atas kekokohan dan kinerja | Gerbang ruang kerja yang memutuskan berdasarkan bukti yang diverifikasinya sendiri, eksekusi yang ditandatangani runner yang didaftarkan tim platform Anda, dan catatan keputusan yang diperiksa peninjau secara offline. Fungsi peninjauan adalah urusan Anda | Sebagian |
| 3.5 | Penerapan dengan kontrol kualitas dan perubahan | Tidak ada: eksekusi yang ditandatangani mengatestasi apa yang dieksekusi runner, bukan apa yang melayani produksi | Tidak tercakup |
| 3.6 | Pemantauan dan penghentian penggunaan | Tinjauan produksi dan kebaruan untuk pemantauan; penghentian penggunaan tidak tercakup | Sebagian |
| Persetujuan | Persetujuan sebelum digunakan, dengan risiko residual ditegaskan | Rilis yang lolos dapat menunggu persetujuan dua orang yang disebutkan namanya, dicatat dan dirantai (Gerbang) | Sebagian |
Langkah selanjutnya
- Gerbang: kebijakan rilis, persetujuan, dan catatan keputusan.
- Plafon risiko: apa yang diputuskan plafon dan apa yang tidak dinyatakannya.
- Apa yang berfungsi hari ini: semua yang sudah dibangun, dan yang belum.