Handleidingen
NIST AI RMF en OSFI E-23
Welk bewijs Oloproof vastlegt voor de functie Measure van het NIST AI RMF en voor Guideline E-23 van OSFI, onderdeel voor onderdeel, en wat het niet vastlegt. De edities zijn het NIST AI Risk Management Framework 1.0 (NIST AI 100-1, januari 2023) en Guideline E-23, Model Risk Management (definitief op 11 september 2025, van kracht vanaf 1 mei 2027 voor federaal gereguleerde financiële instellingen in Canada).
Dit is geen certificering, geen beoordeling van je naleving en geen juridisch advies. Een raamwerk vraagt om praktijken in een hele organisatie; Oloproof levert bewijs over AI-systemen, en dat is één deel van die praktijken. NIST heeft gezegd dat het AI RMF 1.0 wordt bijgewerkt, dus controleer aan welke editie je gehouden bent.
Hoe je de tabellen leest
- Vastgelegd: Oloproof legt bewijs vast voor het onderdeel zoals het geschreven is, in elke run of elk record dat het noemt.
- Deels: Oloproof legt een deel vast van wat het onderdeel vraagt; de rest staat ernaast.
- Niet gedekt: het onderdeel vraagt om iets wat Oloproof niet doet.
De onderdelen zijn geparafraseerd. Lees de eigen tekst van het raamwerk voordat je op een rij vertrouwt.
NIST AI RMF 1.0: de functie Measure
| Onderdeel | Wat het vraagt, in het kort | Wat Oloproof vastlegt | Status |
|---|---|---|---|
| MEASURE 1.1 | Metrieken gekozen voor de risico's die de functie Map vond | De metriekspecificaties, regels en releasepolicy van elke run, per digest. Ze kiezen is aan jou | Deels |
| MEASURE 1.2 | Metrieken en controles na verloop van tijd opnieuw beoordeeld | Markeringen in de trend waar de judge of de cases veranderden; een beslissing zegt wanneer haar bewijs verouderd is (CI gaten) | Deels |
| MEASURE 1.3 | Beoordeling door mensen die het systeem niet bouwden | Een werkruimte die beslist op haar eigen bewijs, labelaars geteld per account, en een beslissingsverslag dat een tweede partij offline controleert. Wie die mensen zijn, regel je zelf | Deels |
| MEASURE 2.1 | Testsets, metrieken en tools gedocumenteerd | Elke run noemt zijn suite, zijn systeem- en evaluatorversies, metrieken en methoden per inhoudsadres, en de analyseversie | Vastgelegd |
| MEASURE 2.2 | Bescherming van menselijke proefpersonen | Niets | Niet gedekt |
| MEASURE 2.3 | Prestaties gemeten en aangetoond | Elke regel beslist op een interval: PASS, FAIL, INSUFFICIENT_EVIDENCE of MANUAL_REVIEW. Of de suite op de inzet in productie lijkt, is aan jou | Deels |
| MEASURE 2.4 | Gedrag gemonitord in productie | Mensen beoordelen een steekproef die de werkruimte uit echt verkeer trekt (Productie evalueren) | Deels |
| MEASURE 2.5 | Validiteit en betrouwbaarheid aangetoond | Intervallen met hun noemers, en judges gemeten tegen mensen voordat ze mogen beslissen (Judges) | Deels |
| MEASURE 2.6 | Veiligheidsrisico's regelmatig geëvalueerd | Plafonds op wat er misgaat, beslist op jouw cases, en de oordelen van een red-teamtool gelezen wanneer je ze hebt (Risicoplafonds). Oloproof schrijft geen aanvallen | Deels |
| MEASURE 2.7 | Beveiliging en weerbaarheid geëvalueerd | Alleen via plafonds op cases die je schrijft of importeert | Deels |
| MEASURE 2.8 | Transparantie en verantwoording onderzocht | Sign-offs en goedkeuringen door twee bij naam genoemde mensen, bewaard in een keten en meegedragen in het beslissingsverslag | Deels |
| MEASURE 2.9 | Het model uitgelegd en zijn output geïnterpreteerd | Diagnoses per interventie wijzen het deel aan dat bij fouten betrokken is; ze verklaren geen enkel model | Deels |
| MEASURE 2.10 | Privacyrisico onderzocht | De egress-policy houdt inhoud aan jouw kant; er wordt geen privacyrisico beoordeeld | Niet gedekt |
| MEASURE 2.11 | Eerlijkheid en bias geëvalueerd | Gedeclareerde slices gemeten met multipliciteitscontrole; wat een slice eerlijk maakt, is aan jou | Deels |
| MEASURE 2.12 | Milieu-impact beoordeeld | Kosten worden vastgelegd; energie niet | Niet gedekt |
| MEASURE 2.13 | De meting zelf geëvalueerd | Judges gevalideerd tegen de labels van mensen, en elke statistische methode toegelaten via een notitie, een dekkingsraster en een audit | Deels |
| MEASURE 3.1 | Risico's door de tijd gevolgd | Trend, actualiteit en review van productie | Deels |
| MEASURE 3.2 | Risico's die moeilijk te meten zijn | Een regel die het bewijs niet kan beslissen, zegt dat (INSUFFICIENT_EVIDENCE, MANUAL_REVIEW), en een onbeslist interval zegt hoeveel cases meer het zouden beslissen | Deels |
| MEASURE 3.3 | Feedback van eindgebruikers | Niets | Niet gedekt |
| MEASURE 4.1 | Meting gekoppeld aan de context van inzet | Labels van je eigen reviewers; de context is aan jou | Deels |
| MEASURE 4.2 | Resultaten gevoed door domeinexperts | De labels van reviewers bepalen wat een judge waard is | Deels |
| MEASURE 4.3 | Verbeteringen en achteruitgang gedocumenteerd | Vergelijkingen van een wijziging met wat live staat, gepaard, met intervallen (Vergelijken) | Vastgelegd |
Guideline E-23 van OSFI (2027)
| Principe | Wat het vraagt, in het kort | Wat Oloproof vastlegt | Status |
|---|---|---|---|
| 1.1 tot en met 1.3 | Rapportagelijnen, een raamwerk voor modelrisico, modellen die geschikt zijn voor hun doel | Bewijs van geschiktheid voor één doel: de regels van een releasepolicy, beslist op intervallen. Het raamwerk en zijn governance zijn aan jou | Deels |
| 2.1 | Een inventaris van de modellen in gebruik | De systeemversies van elk project, zoals de runs die ze evalueerden ze vastlegden. Geen inventaris voor de hele onderneming | Deels |
| 2.2 | Een risicoclassificatie van modellen | Niets | Niet gedekt |
| 2.3 | Inspanning in verhouding tot het risico | Een policy per project: haar drempels, haar betrouwbaarheidsniveau, en of een release die slaagt de goedkeuring van twee mensen nodig heeft | Deels |
| 3.1 | Levenscyclusbeleid, gedocumenteerd | De releasepolicy is een bestand, vastgelegd per digest bij elke gate die eronder werd beslist | Deels |
| 3.2 | Gegevens die geschikt zijn voor hun gebruik | Suites geversioneerd op inhoud; of ze bij het gebruik passen, is aan jou | Deels |
| 3.3 | Ontwikkelstandaarden voor prestaties en documentatie | Regels met drempels, en het record van elke run | Deels |
| 3.4 | Onafhankelijke review van degelijkheid en prestaties | Een gate van de werkruimte die beslist op bewijs dat ze zelf verifieerde, runs ondertekend door een runner die je platformteam registreert, en een beslissingsverslag dat een reviewer offline controleert. De reviewfunctie is aan jou | Deels |
| 3.5 | Ingebruikname met kwaliteits- en wijzigingsbeheer | Niets: een ondertekende run attesteert wat een runner uitvoerde, niet wat productie bedient | Niet gedekt |
| 3.6 | Monitoring en buitengebruikstelling | Review van productie en actualiteit voor monitoring; buitengebruikstelling is niet gedekt | Deels |
| Goedkeuring | Goedkeuring vóór gebruik, met het restrisico bevestigd | Een release die slaagt, kan wachten op de goedkeuring van twee bij naam genoemde mensen, vastgelegd en geketend (CI gaten) | Deels |
Verder lezen
- CI gaten: de releasepolicy, goedkeuringen en het beslissingsverslag.
- Risicoplafonds: wat een plafond beslist en wat het niet zegt.
- Wat vandaag werkt: alles wat gebouwd is, en wat niet.