Guides
NIST AI RMF et OSFI E-23
Les preuves qu’Oloproof enregistre au regard de la fonction Measure du NIST AI RMF et de la Guideline E-23 de l’OSFI, point par point, et celles qu’il n’enregistre pas. Les éditions sont le NIST AI Risk Management Framework 1.0 (NIST AI 100-1, janvier 2023) et la Guideline E-23, Model Risk Management (version définitive du 11 septembre 2025, en vigueur à compter du 1er mai 2027 pour les institutions financières sous réglementation fédérale au Canada).
Ceci n’est pas une certification, ni une évaluation de votre conformité, ni un avis juridique. Un cadre demande des pratiques à l’échelle d’une organisation ; Oloproof produit des preuves sur des systèmes d’IA, ce qui n’est qu’une partie de ces pratiques. Le NIST a indiqué que l’AI RMF 1.0 est en cours de mise à jour : vérifiez donc l’édition à laquelle vous êtes tenu.
Comment lire les tableaux
- Enregistré : Oloproof enregistre des preuves pour le point tel qu’il est rédigé, dans chaque exécution ou chaque relevé qu’il nomme.
- En partie : Oloproof enregistre une partie de ce que demande le point ; le reste est dit à côté.
- Non couvert : le point demande quelque chose qu’Oloproof ne fait pas.
Les points sont paraphrasés. Lisez le texte même du cadre avant de vous fier à une ligne.
NIST AI RMF 1.0 : Measure
| Point | Ce qu’il demande, en bref | Ce qu’Oloproof enregistre | Statut |
|---|---|---|---|
| MEASURE 1.1 | Des métriques choisies pour les risques que la fonction Map a relevés | Les spécifications de métriques, les règles et la politique de publication de chaque exécution, par empreinte. Les choisir vous revient | En partie |
| MEASURE 1.2 | Des métriques et des contrôles réévalués au fil du temps | Des marques de tendance là où le juge ou les cas ont changé ; une décision dit quand ses preuves sont périmées (Porte de CI) | En partie |
| MEASURE 1.3 | Une évaluation par des personnes qui n’ont pas construit le système | Un espace de travail qui décide sur ses propres preuves, des étiqueteurs comptés par compte, et un relevé de décision qu’une seconde partie vérifie hors ligne. Qui sont ces personnes, c’est à vous de l’organiser | En partie |
| MEASURE 2.1 | Des jeux de test, des métriques et des outils documentés | Chaque exécution nomme ses versions de suite, de système et d’évaluateurs, ses métriques et ses méthodes par adresse de contenu, ainsi que la version de l’analyse | Enregistré |
| MEASURE 2.2 | La protection des sujets humains | Rien | Non couvert |
| MEASURE 2.3 | Des performances mesurées et démontrées | Chaque règle est décidée sur un intervalle : PASS, FAIL, INSUFFICIENT_EVIDENCE ou MANUAL_REVIEW. Que la suite ressemble au déploiement, cela vous revient | En partie |
| MEASURE 2.4 | Un comportement surveillé en production | Des personnes revoient un échantillon que l’espace de travail tire du trafic réel (Évaluer la production) | En partie |
| MEASURE 2.5 | Une validité et une fiabilité démontrées | Des intervalles avec leurs dénominateurs, et des juges mesurés par rapport à des personnes avant de pouvoir décider (Juges) | En partie |
| MEASURE 2.6 | Des risques de sûreté évalués régulièrement | Des plafonds sur ce qui tourne mal, décidés sur vos cas, et les notes d’un outil de red team lues lorsque vous en disposez (Plafonds de risque). Oloproof n’écrit pas d’attaques | En partie |
| MEASURE 2.7 | La sécurité et la résilience évaluées | Seulement au moyen de plafonds sur des cas que vous écrivez ou importez | En partie |
| MEASURE 2.8 | La transparence et la responsabilité examinées | Des visas et des approbations de deux personnes nommées, conservés dans une chaîne et repris dans le relevé de décision | En partie |
| MEASURE 2.9 | Le modèle expliqué et sa sortie interprétée | Les diagnostics par intervention désignent la partie impliquée dans les échecs ; ils n’expliquent aucun modèle | En partie |
| MEASURE 2.10 | Le risque pour la vie privée examiné | La politique de sortie garde le contenu de votre côté ; aucun risque pour la vie privée n’est évalué | Non couvert |
| MEASURE 2.11 | L’équité et les biais évalués | Des segments déclarés, mesurés avec un contrôle de la multiplicité ; ce qui rend un segment équitable vous revient | En partie |
| MEASURE 2.12 | L’impact environnemental évalué | Le coût est enregistré ; l’énergie ne l’est pas | Non couvert |
| MEASURE 2.13 | La mesure elle-même évaluée | Des juges validés par rapport aux étiquettes de personnes, et chaque méthode statistique admise par une note, une grille de couverture et un audit | En partie |
| MEASURE 3.1 | Des risques suivis au fil du temps | Tendance, fraîcheur et revue de la production | En partie |
| MEASURE 3.2 | Des risques difficiles à mesurer | Une règle que les preuves ne peuvent pas décider le dit (INSUFFICIENT_EVIDENCE, MANUAL_REVIEW), et un intervalle non décidé dit combien de cas de plus le décideraient | En partie |
| MEASURE 3.3 | Les retours des utilisateurs finaux | Rien | Non couvert |
| MEASURE 4.1 | Une mesure liée au contexte de déploiement | Des étiquettes de vos propres relecteurs ; le contexte vous revient | En partie |
| MEASURE 4.2 | Des résultats éclairés par des experts du domaine | Les étiquettes des relecteurs décident de ce que vaut un juge | En partie |
| MEASURE 4.3 | Les améliorations et les reculs documentés | Des comparaisons d’un changement avec ce qui est en production, appariées, avec des intervalles (Comparer) | Enregistré |
OSFI Guideline E-23 (2027)
| Principe | Ce qu’il demande, en bref | Ce qu’Oloproof enregistre | Statut |
|---|---|---|---|
| 1.1 à 1.3 | Des lignes hiérarchiques, un cadre de gestion du risque de modèle, des modèles adaptés à leur usage | Des preuves d’adéquation à un usage : les règles d’une politique de publication décidées sur des intervalles. Le cadre et sa gouvernance vous reviennent | En partie |
| 2.1 | Un inventaire des modèles en usage | Les versions du système de chaque projet, telles que les exécutions qui les ont évaluées les ont enregistrées. Ce n’est pas un inventaire à l’échelle de l’entreprise | En partie |
| 2.2 | Une cote de risque de modèle | Rien | Non couvert |
| 2.3 | Un effort proportionné au risque | Une politique par projet : ses seuils, son niveau de confiance, et si une publication qui réussit exige l’approbation de deux personnes | En partie |
| 3.1 | Des politiques de cycle de vie, documentées | La politique de publication est un fichier, enregistré par empreinte avec chaque porte décidée sous elle | En partie |
| 3.2 | Des données adaptées à leur usage | Des suites versionnées par contenu ; qu’elles conviennent à l’usage vous revient | En partie |
| 3.3 | Des normes de développement pour la performance et la documentation | Des règles avec des seuils, et l’enregistrement de chaque exécution | En partie |
| 3.4 | Une revue indépendante de la solidité et de la performance | Une porte de l’espace de travail qui décide sur des preuves qu’il a lui-même vérifiées, des exécutions signées par un runner que votre équipe plateforme enregistre, et un relevé de décision qu’un relecteur vérifie hors ligne. La fonction de revue vous revient | En partie |
| 3.5 | Un déploiement avec contrôle de la qualité et des changements | Rien : une exécution signée atteste ce qu’un runner a exécuté, pas ce qui sert la production | Non couvert |
| 3.6 | Surveillance et mise hors service | Revue de la production et fraîcheur pour la surveillance ; la mise hors service n’est pas couverte | En partie |
| Approbation | Une approbation avant usage, avec le risque résiduel confirmé | Une publication qui réussit peut attendre l’approbation de deux personnes nommées, enregistrée et chaînée (Porte de CI) | En partie |
Pour aller plus loin
- Porte de CI : la politique de publication, les approbations et le relevé de décision.
- Plafonds de risque : ce qu’un plafond décide et ce qu’il ne dit pas.
- Ce qui fonctionne aujourd’hui : tout ce qui est construit, et ce qui ne l’est pas.