Przewodniki
NIST AI RMF i OSFI E-23
Jakie dowody Oloproof zapisuje na potrzeby funkcji Measure w NIST AI RMF i wytycznej Guideline E-23 OSFI, pozycja po pozycji, a czego nie zapisuje. Wydania to NIST AI Risk Management Framework 1.0 (NIST AI 100-1, styczeń 2023) oraz Guideline E-23, Model Risk Management (wersja ostateczna z 11 września 2025, obowiązująca od 1 maja 2027 w instytucjach finansowych regulowanych federalnie w Kanadzie).
To nie jest certyfikacja, nie jest to ocena Twojej zgodności i nie jest to porada prawna. Ramy wymagają praktyk w całej organizacji; Oloproof wytwarza dowody dotyczące systemów AI, które są jedną częścią tych praktyk. NIST zapowiedział, że AI RMF 1.0 jest aktualizowany, więc sprawdź, którego wydania musisz przestrzegać.
Jak czytać tabele
- Rejestrowane: Oloproof zapisuje dowody dla pozycji w jej brzmieniu, w każdym przebiegu lub zapisie, który wskazuje.
- Częściowo: Oloproof zapisuje część tego, czego wymaga pozycja; reszta jest opisana obok.
- Nieobjęte: pozycja wymaga czegoś, czego Oloproof nie robi.
Pozycje są sparafrazowane. Zanim oprzesz się na którymś wierszu, przeczytaj tekst samych ram.
NIST AI RMF 1.0: funkcja Measure
| Pozycja | Czego wymaga, w skrócie | Co zapisuje Oloproof | Status |
|---|---|---|---|
| MEASURE 1.1 | Metryki wybrane dla ryzyk, które wskazała funkcja Map | Specyfikacje metryk, reguły i polityka wydań każdego przebiegu, według skrótu. Ich wybór należy do Ciebie | Częściowo |
| MEASURE 1.2 | Metryki i kontrole ponownie oceniane w czasie | Znaczniki w trendzie tam, gdzie zmienił się sędzia lub przypadki; decyzja mówi, kiedy jej dowody są nieaktualne (Bramkowanie CI) | Częściowo |
| MEASURE 1.3 | Ocena przez osoby, które nie zbudowały systemu | Obszar roboczy, który rozstrzyga na podstawie własnych dowodów, osoby etykietujące liczone według konta oraz zapis decyzji, który druga strona sprawdza offline. Ustalenie, kim są te osoby, należy do Ciebie | Częściowo |
| MEASURE 2.1 | Udokumentowane zestawy testowe, metryki i narzędzia | Każdy przebieg wskazuje swój zestaw, wersje systemu i ewaluatorów, metryki i metody według adresu treści oraz wersję analizy | Rejestrowane |
| MEASURE 2.2 | Ochrona ludzi będących uczestnikami badań | Nic | Nieobjęte |
| MEASURE 2.3 | Skuteczność zmierzona i wykazana | Każda reguła rozstrzygana na podstawie przedziału: PASS, FAIL, INSUFFICIENT_EVIDENCE lub MANUAL_REVIEW. To, czy zestaw przypomina warunki wdrożenia, należy do Ciebie | Częściowo |
| MEASURE 2.4 | Zachowanie monitorowane w produkcji | Ludzie przeglądają próbkę, którą obszar roboczy losuje z prawdziwego ruchu (Ewaluacja produkcji) | Częściowo |
| MEASURE 2.5 | Wykazana trafność i niezawodność | Przedziały z ich mianownikami oraz sędziowie mierzeni względem ludzi, zanim będą mogli decydować (Sędziowie) | Częściowo |
| MEASURE 2.6 | Ryzyka dla bezpieczeństwa regularnie oceniane | Pułapy na to, co idzie źle, rozstrzygane na Twoich przypadkach, oraz oceny narzędzia red team odczytywane, gdy je masz (Pułapy ryzyka). Oloproof nie pisze ataków | Częściowo |
| MEASURE 2.7 | Ocenione bezpieczeństwo informatyczne i odporność | Tylko przez pułapy na przypadkach, które piszesz lub importujesz | Częściowo |
| MEASURE 2.8 | Zbadana przejrzystość i rozliczalność | Nadpisania i zatwierdzenia przez dwie imiennie wskazane osoby, przechowywane w łańcuchu i zawarte w zapisie decyzji | Częściowo |
| MEASURE 2.9 | Model wyjaśniony, a jego wyniki zinterpretowane | Diagnozy przez interwencję wskazują część zaangażowaną w niepowodzenia; nie wyjaśniają żadnego modelu | Częściowo |
| MEASURE 2.10 | Zbadane ryzyko dla prywatności | Polityka egress trzyma treść po Twojej stronie; żadne ryzyko dla prywatności nie jest oceniane | Nieobjęte |
| MEASURE 2.11 | Ocenione sprawiedliwe traktowanie i stronniczość | Zadeklarowane wycinki mierzone z kontrolą wielokrotności; to, co czyni wycinek sprawiedliwym, należy do Ciebie | Częściowo |
| MEASURE 2.12 | Oceniony wpływ na środowisko | Koszt jest zapisywany; energia nie | Nieobjęte |
| MEASURE 2.13 | Oceniony sam pomiar | Sędziowie walidowani względem etykiet nadanych przez ludzi oraz każda metoda statystyczna dopuszczona przez notatkę, siatkę pokrycia i audyt | Częściowo |
| MEASURE 3.1 | Ryzyka śledzone w czasie | Trend, aktualność i przegląd produkcji | Częściowo |
| MEASURE 3.2 | Ryzyka trudne do zmierzenia | Reguła, której dowody nie mogą rozstrzygnąć, mówi to (INSUFFICIENT_EVIDENCE, MANUAL_REVIEW), a nierozstrzygnięty przedział mówi, ile jeszcze przypadków by go rozstrzygnęło | Częściowo |
| MEASURE 3.3 | Informacje zwrotne od użytkowników końcowych | Nic | Nieobjęte |
| MEASURE 4.1 | Pomiar powiązany z kontekstem wdrożenia | Etykiety od Twoich własnych osób przeglądających; kontekst należy do Ciebie | Częściowo |
| MEASURE 4.2 | Wyniki uwzględniające wiedzę ekspertów dziedzinowych | Etykiety osób przeglądających decydują o tym, ile wart jest sędzia | Częściowo |
| MEASURE 4.3 | Udokumentowane poprawy i pogorszenia | Porównania zmiany z tym, co działa produkcyjnie, sparowane, z przedziałami (Porównanie) | Rejestrowane |
Guideline E-23 OSFI (2027)
| Zasada | Czego wymaga, w skrócie | Co zapisuje Oloproof | Status |
|---|---|---|---|
| Od 1.1 do 1.3 | Linie raportowania, ramy zarządzania ryzykiem modeli, modele dopasowane do swojego celu | Dowody przydatności do jednego celu: reguły polityki wydań rozstrzygane na podstawie przedziałów. Ramy i ich nadzór należą do Ciebie | Częściowo |
| 2.1 | Inwentarz używanych modeli | Wersje systemu każdego projektu, tak jak zapisały je przebiegi, które je oceniały. Nie jest to inwentarz całego przedsiębiorstwa | Częściowo |
| 2.2 | Klasyfikacja ryzyka modelu | Nic | Nieobjęte |
| 2.3 | Nakład pracy proporcjonalny do ryzyka | Polityka dla każdego projektu: jej progi, jej poziom ufności oraz to, czy wydanie, które przechodzi, wymaga zatwierdzenia przez dwie osoby | Częściowo |
| 3.1 | Udokumentowane zasady cyklu życia | Polityka wydań jest plikiem, zapisywanym według skrótu z każdą bramką rozstrzygniętą na jej podstawie | Częściowo |
| 3.2 | Dane odpowiednie do ich zastosowania | Zestawy wersjonowane według treści; to, czy pasują do zastosowania, należy do Ciebie | Częściowo |
| 3.3 | Standardy rozwoju dotyczące skuteczności i dokumentacji | Reguły z progami oraz zapis każdego przebiegu | Częściowo |
| 3.4 | Niezależny przegląd solidności i skuteczności | Bramka obszaru roboczego, która rozstrzyga na podstawie dowodów zweryfikowanych przez siebie, przebiegi podpisane przez runnera rejestrowanego przez Twój zespół platformowy oraz zapis decyzji, który osoba przeglądająca sprawdza offline. Funkcja przeglądu należy do Ciebie | Częściowo |
| 3.5 | Wdrożenie z kontrolą jakości i zmian | Nic: podpisany przebieg poświadcza to, co wykonał runner, a nie to, co obsługuje produkcję | Nieobjęte |
| 3.6 | Monitorowanie i wycofanie z użycia | Przegląd produkcji i aktualność na potrzeby monitorowania; wycofanie z użycia nie jest objęte | Częściowo |
| Zatwierdzenie | Zatwierdzenie przed użyciem, z potwierdzeniem ryzyka rezydualnego | Wydanie, które przechodzi, może czekać na zatwierdzenie przez dwie imiennie wskazane osoby, zapisane i powiązane w łańcuch (Bramkowanie CI) | Częściowo |
Co dalej
- Bramkowanie CI: polityka wydań, zatwierdzenia i zapis decyzji.
- Pułapy ryzyka: co rozstrzyga pułap, a czego nie mówi.
- Co działa dziś: wszystko, co jest zbudowane, i to, co nie jest.