Guide
NIST AI RMF e OSFI E-23
Quali evidenze Oloproof registra per la funzione Measure del NIST AI RMF e per la Guideline E-23 dell'OSFI, voce per voce, e che cosa non registra. Le edizioni sono il NIST AI Risk Management Framework 1.0 (NIST AI 100-1, gennaio 2023) e la Guideline E-23, Model Risk Management (definitiva l'11 settembre 2025, in vigore dal 1° maggio 2027 per le istituzioni finanziarie regolamentate a livello federale in Canada).
Questa non è una certificazione, non è una valutazione della tua conformità e non è una consulenza legale. Un framework chiede pratiche che attraversano un'intera organizzazione; Oloproof produce evidenze sui sistemi di IA, che sono una parte di quelle pratiche. Il NIST ha dichiarato che l'AI RMF 1.0 è in fase di aggiornamento, quindi verifica l'edizione a cui sei tenuto.
Come leggere le tabelle
- Registrato: Oloproof registra evidenze per la voce così come è scritta, in ogni esecuzione o record che nomina.
- Parziale: Oloproof registra una parte di ciò che la voce chiede; il resto è indicato accanto.
- Non coperto: la voce chiede qualcosa che Oloproof non fa.
Le voci sono parafrasate. Leggi il testo del framework stesso prima di fare affidamento su una riga.
NIST AI RMF 1.0: la funzione Measure
| Voce | Che cosa chiede, in breve | Che cosa registra Oloproof | Stato |
|---|---|---|---|
| MEASURE 1.1 | Metriche scelte per i rischi individuati dalla funzione Map | Le specifiche delle metriche, le regole e la policy di rilascio di ogni esecuzione, per digest. Sceglierle spetta a te | Parziale |
| MEASURE 1.2 | Metriche e controlli rivalutati nel tempo | Segni nel trend dove il giudice o i casi sono cambiati; una decisione dice quando la sua evidenza è obsoleta (Gating in CI) | Parziale |
| MEASURE 1.3 | Valutazione da parte di persone che non hanno costruito il sistema | Uno spazio di lavoro che decide sulla propria evidenza, etichettatori contati per account, e un registro della decisione che una seconda parte controlla offline. Chi siano quelle persone spetta a te organizzarlo | Parziale |
| MEASURE 2.1 | Set di test, metriche e strumenti documentati | Ogni esecuzione nomina la sua suite, le versioni del sistema e dei valutatori, le metriche e i metodi per indirizzo di contenuto, e la versione dell'analisi | Registrato |
| MEASURE 2.2 | Tutele per i soggetti umani | Nulla | Non coperto |
| MEASURE 2.3 | Prestazioni misurate e dimostrate | Ogni regola decisa su un intervallo: PASS, FAIL, INSUFFICIENT_EVIDENCE o MANUAL_REVIEW. Stabilire se la suite somiglia al contesto di impiego spetta a te | Parziale |
| MEASURE 2.4 | Comportamento monitorato in produzione | Delle persone revisionano un campione che lo spazio di lavoro estrae dal traffico reale (Valutare la produzione) | Parziale |
| MEASURE 2.5 | Validità e affidabilità dimostrate | Intervalli con i loro denominatori, e giudici misurati rispetto alle persone prima che possano decidere (Giudici) | Parziale |
| MEASURE 2.6 | Rischi per la sicurezza valutati regolarmente | Tetti su ciò che va storto, decisi sui tuoi casi, e i voti di uno strumento di red team letti quando li hai (Tetti di rischio). Oloproof non scrive attacchi | Parziale |
| MEASURE 2.7 | Sicurezza informatica e resilienza valutate | Solo tramite tetti sui casi che scrivi o importi | Parziale |
| MEASURE 2.8 | Trasparenza e responsabilità esaminate | Deroghe e approvazioni di due persone nominate, conservate in una catena e riportate nel registro della decisione | Parziale |
| MEASURE 2.9 | Il modello spiegato e il suo output interpretato | Le diagnosi per intervento indicano la parte implicata nei fallimenti; non spiegano alcun modello | Parziale |
| MEASURE 2.10 | Rischio per la privacy esaminato | La policy di egress tiene il contenuto dalla tua parte; nessun rischio per la privacy viene valutato | Non coperto |
| MEASURE 2.11 | Equità e bias valutati | Slice dichiarate, misurate con controllo della molteplicità; che cosa renda equa una slice spetta a te | Parziale |
| MEASURE 2.12 | Impatto ambientale valutato | Il costo viene registrato; l'energia no | Non coperto |
| MEASURE 2.13 | La misurazione stessa valutata | Giudici validati rispetto alle etichette delle persone, e ogni metodo statistico ammesso tramite una nota, una griglia di copertura e un audit | Parziale |
| MEASURE 3.1 | Rischi monitorati nel tempo | Trend, freschezza e revisione della produzione | Parziale |
| MEASURE 3.2 | Rischi difficili da misurare | Una regola che l'evidenza non può decidere lo dice (INSUFFICIENT_EVIDENCE, MANUAL_REVIEW), e un intervallo non deciso dice quanti casi in più lo deciderebbero | Parziale |
| MEASURE 3.3 | Feedback dagli utenti finali | Nulla | Non coperto |
| MEASURE 4.1 | Misurazione legata al contesto di impiego | Etichette dei tuoi revisori; il contesto spetta a te | Parziale |
| MEASURE 4.2 | Risultati informati da esperti del dominio | Le etichette dei revisori decidono quanto vale un giudice | Parziale |
| MEASURE 4.3 | Miglioramenti e peggioramenti documentati | Confronti di una modifica con ciò che è in produzione, appaiati, con intervalli (Confronto) | Registrato |
Guideline E-23 dell'OSFI (2027)
| Principio | Che cosa chiede, in breve | Che cosa registra Oloproof | Stato |
|---|---|---|---|
| Da 1.1 a 1.3 | Linee di riporto, un framework per il rischio di modello, modelli adatti al loro scopo | Evidenza dell'idoneità a uno scopo: le regole di una policy di rilascio decise su intervalli. Il framework e la sua governance spettano a te | Parziale |
| 2.1 | Un inventario dei modelli in uso | Le versioni di sistema di ogni progetto, così come le hanno registrate le esecuzioni che le hanno valutate. Non un inventario aziendale | Parziale |
| 2.2 | Una classificazione del rischio di modello | Nulla | Non coperto |
| 2.3 | Impegno proporzionato al rischio | Una policy per progetto: le sue soglie, il suo livello di confidenza, se un rilascio che passa richiede l'approvazione di due persone | Parziale |
| 3.1 | Politiche del ciclo di vita, documentate | La policy di rilascio è un file, registrato per digest con ogni gate deciso in base a essa | Parziale |
| 3.2 | Dati adatti al loro uso | Suite versionate per contenuto; se siano adatte all'uso spetta a te | Parziale |
| 3.3 | Standard di sviluppo per prestazioni e documentazione | Regole con soglie, e il record di ogni esecuzione | Parziale |
| 3.4 | Revisione indipendente di solidità e prestazioni | Un gate dello spazio di lavoro che decide su evidenze che ha verificato da sé, esecuzioni firmate da un runner che il tuo team di piattaforma registra, e un registro della decisione che un revisore controlla offline. La funzione di revisione spetta a te | Parziale |
| 3.5 | Messa in produzione con controllo della qualità e delle modifiche | Nulla: un'esecuzione firmata attesta ciò che un runner ha eseguito, non ciò che serve la produzione | Non coperto |
| 3.6 | Monitoraggio e dismissione | Revisione della produzione e freschezza per il monitoraggio; la dismissione non è coperta | Parziale |
| Approvazione | Approvazione prima dell'uso, con il rischio residuo affermato | Un rilascio che passa può attendere l'approvazione di due persone nominate, registrata e concatenata (Gating in CI) | Parziale |
Dove andare dopo
- Gating in CI: la policy di rilascio, le approvazioni e il registro della decisione.
- Tetti di rischio: che cosa decide un tetto e che cosa non dice.
- Cosa funziona oggi: tutto ciò che è costruito, e ciò che non lo è.