Guias
NIST AI RMF e OSFI E-23
Que evidência o Oloproof registra para a função Measure do NIST AI RMF e para a Guideline E-23 do OSFI, item por item, e o que ele não registra. As edições são o NIST AI Risk Management Framework 1.0 (NIST AI 100-1, janeiro de 2023) e a Guideline E-23, Model Risk Management (versão final de 11 de setembro de 2025, em vigor a partir de 1 de maio de 2027 para instituições financeiras sob regulação federal no Canadá).
Isto não é certificação, não é uma avaliação da sua conformidade e não é aconselhamento jurídico. Um framework pede práticas em toda uma organização; o Oloproof produz evidência sobre sistemas de IA, que é uma parte dessas práticas. O NIST informou que o AI RMF 1.0 está sendo atualizado, então confira a edição à qual você está sujeito.
Como ler as tabelas
- Registrado: o Oloproof registra evidência para o item tal como está escrito, em toda execução ou registro que nomeia.
- Em parte: o Oloproof registra parte do que o item pede; o restante é dito ao lado.
- Não coberto: o item pede algo que o Oloproof não faz.
Os itens estão parafraseados. Leia o texto do próprio framework antes de se apoiar em uma linha.
NIST AI RMF 1.0: Measure
| Item | O que pede, em resumo | O que o Oloproof registra | Status |
|---|---|---|---|
| MEASURE 1.1 | Métricas escolhidas para os riscos que a função Map encontrou | As especificações de métricas, as regras e a política de lançamento de cada execução, por digest. Escolhê-las cabe a você | Em parte |
| MEASURE 1.2 | Métricas e controles reavaliados ao longo do tempo | A tendência marca onde o juiz ou os casos mudaram; uma decisão diz quando a sua evidência está desatualizada (Gate no CI) | Em parte |
| MEASURE 1.3 | Avaliação por pessoas que não construíram o sistema | Um espaço de trabalho que decide com base na sua própria evidência, rotuladores contados por conta e um registro da decisão que uma segunda parte confere offline. Quem são essas pessoas cabe a você organizar | Em parte |
| MEASURE 2.1 | Conjuntos de teste, métricas e ferramentas documentados | Toda execução nomeia as versões da sua suíte, do seu sistema e dos seus avaliadores, as métricas e os métodos por endereço de conteúdo, e a versão da análise | Registrado |
| MEASURE 2.2 | Proteção de participantes humanos | Nada | Não coberto |
| MEASURE 2.3 | Desempenho medido e demonstrado | Toda regra decidida sobre um intervalo: PASS, FAIL, INSUFFICIENT_EVIDENCE ou MANUAL_REVIEW. Se a suíte se parece com o ambiente de implantação cabe a você | Em parte |
| MEASURE 2.4 | Comportamento monitorado em produção | Pessoas revisam uma amostra que o espaço de trabalho sorteia do tráfego real (Avaliando a produção) | Em parte |
| MEASURE 2.5 | Validade e confiabilidade demonstradas | Intervalos com os seus denominadores, e juízes medidos contra pessoas antes que possam decidir (Juízes) | Em parte |
| MEASURE 2.6 | Riscos de segurança (safety) avaliados regularmente | Tetos sobre o que dá errado, decididos nos seus casos, e as notas de uma ferramenta de red team lidas quando você as tem (Tetos de risco). O Oloproof não escreve ataques | Em parte |
| MEASURE 2.7 | Segurança (security) e resiliência avaliadas | Apenas por meio de tetos sobre casos que você escreve ou importa | Em parte |
| MEASURE 2.8 | Transparência e responsabilização examinadas | Sign-offs e aprovações por duas pessoas nomeadas, mantidos em uma cadeia e levados no registro da decisão | Em parte |
| MEASURE 2.9 | O modelo explicado e a sua saída interpretada | Os diagnósticos por intervenção nomeiam a parte implicada nas falhas; eles não explicam nenhum modelo | Em parte |
| MEASURE 2.10 | Risco de privacidade examinado | A política de egresso mantém o conteúdo do seu lado; nenhum risco de privacidade é avaliado | Não coberto |
| MEASURE 2.11 | Equidade e viés avaliados | Segmentos declarados medidos com controle de multiplicidade; o que torna um segmento justo cabe a você | Em parte |
| MEASURE 2.12 | Impacto ambiental avaliado | O custo é registrado; a energia não | Não coberto |
| MEASURE 2.13 | A própria medição avaliada | Juízes validados contra os rótulos de pessoas, e cada método estatístico admitido por uma nota, uma grade de cobertura e uma auditoria | Em parte |
| MEASURE 3.1 | Riscos acompanhados ao longo do tempo | Tendência, atualidade e revisão de produção | Em parte |
| MEASURE 3.2 | Riscos difíceis de medir | Uma regra que a evidência não consegue decidir diz isso (INSUFFICIENT_EVIDENCE, MANUAL_REVIEW), e um intervalo não decidido diz quantos casos a mais o decidiriam | Em parte |
| MEASURE 3.3 | Feedback de usuários finais | Nada | Não coberto |
| MEASURE 4.1 | Medição ligada ao contexto de implantação | Rótulos dos seus próprios revisores; o contexto cabe a você | Em parte |
| MEASURE 4.2 | Resultados informados por especialistas do domínio | Os rótulos dos revisores decidem quanto vale um juiz | Em parte |
| MEASURE 4.3 | Melhorias e declínios documentados | Comparações de uma mudança com o que está em produção, pareadas, com intervalos (Comparar) | Registrado |
OSFI Guideline E-23 (2027)
| Princípio | O que pede, em resumo | O que o Oloproof registra | Status |
|---|---|---|---|
| 1.1 a 1.3 | Linhas de reporte, um framework de risco de modelo, modelos adequados ao seu propósito | Evidência de adequação a um propósito: as regras de uma política de lançamento decididas sobre intervalos. O framework e a sua governança cabem a você | Em parte |
| 2.1 | Um inventário dos modelos em uso | As versões de sistema de cada projeto, tal como as execuções que as avaliaram as registraram. Não é um inventário corporativo | Em parte |
| 2.2 | Uma classificação de risco do modelo | Nada | Não coberto |
| 2.3 | Esforço proporcional ao risco | Uma política por projeto: os seus patamares, o seu nível de confiança, se um lançamento que passa precisa da aprovação de duas pessoas | Em parte |
| 3.1 | Políticas de ciclo de vida, documentadas | A política de lançamento é um arquivo, registrado por digest com cada gate decidido sob ela | Em parte |
| 3.2 | Dados adequados ao seu uso | Suítes versionadas por conteúdo; se elas servem ao uso cabe a você | Em parte |
| 3.3 | Padrões de desenvolvimento para desempenho e documentação | Regras com limiares, e o registro de cada execução | Em parte |
| 3.4 | Revisão independente da solidez e do desempenho | Um gate do espaço de trabalho que decide com base em evidência que ele mesmo verificou, execuções assinadas por um runner que a sua equipe de plataforma registra, e um registro da decisão que um revisor confere offline. A função de revisão cabe a você | Em parte |
| 3.5 | Implantação com controle de qualidade e de mudanças | Nada: uma execução assinada atesta o que um runner executou, não o que atende a produção | Não coberto |
| 3.6 | Monitoramento e desativação | Revisão de produção e atualidade para o monitoramento; a desativação não é coberta | Em parte |
| Aprovação | Aprovação antes do uso, com o risco residual confirmado | Um lançamento que passa pode aguardar a aprovação de duas pessoas nomeadas, registrada e encadeada (Gate no CI) | Em parte |
Próximos passos
- Gate no CI: a política de lançamento, as aprovações e o registro da decisão.
- Tetos de risco: o que um teto decide e o que ele não diz.
- O que funciona hoje: tudo o que está construído, e o que não está.