Kılavuzlar
NIST AI RMF ve OSFI E-23
Oloproof'un NIST AI RMF'nin Measure işlevine ve OSFI'nin Guideline E-23 belgesine yönelik, madde madde hangi kanıtı kaydettiği ve neyi kaydetmediği. Sürümler, NIST AI Risk Management Framework 1.0 (NIST AI 100-1, Ocak 2023) ve Guideline E-23, Model Risk Management belgesidir (nihai hâli 11 Eylül 2025; Kanada'da federal düzenlemeye tabi finansal kuruluşlar için 1 Mayıs 2027'den itibaren yürürlükte).
Bu bir sertifikasyon değildir, uyumluluğunuzun bir değerlendirmesi değildir ve hukuki tavsiye değildir. Bir çerçeve, bir kuruluşun tamamına yayılan uygulamalar ister; Oloproof yapay zekâ sistemleri hakkında kanıt üretir ve bu, o uygulamaların bir parçasıdır. NIST, AI RMF 1.0'ın güncellenmekte olduğunu açıkladı; bu yüzden tabi olduğunuz sürümü kontrol edin.
Tablolar nasıl okunur
- Kaydedildi: Oloproof, madde için kanıtı maddenin yazıldığı haliyle, adını verdiği her çalıştırmada ya da kayıtta kaydeder.
- Kısmen: Oloproof, maddenin istediğinin bir kısmını kaydeder; geri kalanı yanında belirtilir.
- Kapsanmıyor: madde, Oloproof'un yapmadığı bir şeyi ister.
Maddeler başka sözcüklerle aktarılmıştır. Bir satıra dayanmadan önce çerçevenin kendi metnini okuyun.
NIST AI RMF 1.0: Measure
| Madde | Kısaca ne istiyor | Oloproof ne kaydediyor | Durum |
|---|---|---|---|
| MEASURE 1.1 | Map işlevinin bulduğu riskler için seçilmiş metrikler | Her çalıştırmanın metrik belirtimleri, kuralları ve sürüm politikası, özetleriyle. Bunları seçmek size kalmıştır | Kısmen |
| MEASURE 1.2 | Zaman içinde yeniden değerlendirilen metrikler ve kontroller | Eğilim, hakemin ya da vakaların değiştiği yerleri işaretler; bir karar, kanıtının ne zaman eskidiğini söyler (Kapı denetimi) | Kısmen |
| MEASURE 1.3 | Sistemi geliştirmemiş kişilerce değerlendirme | Kendi kanıtına göre karar veren bir çalışma alanı, hesaba göre sayılan etiketleyiciler ve ikinci bir tarafın çevrimdışı denetlediği bir karar kaydı. Bu kişilerin kim olacağını ayarlamak size kalmıştır | Kısmen |
| MEASURE 2.1 | Belgelenmiş test setleri, metrikler ve araçlar | Her çalıştırma paketinin, sisteminin ve değerlendiricilerinin sürümlerini, içerik adresleriyle metrikleri ve yöntemleri ve analiz sürümünü adlandırır | Kaydedildi |
| MEASURE 2.2 | İnsan deneklerin korunması | Hiçbir şey | Kapsanmıyor |
| MEASURE 2.3 | Ölçülmüş ve gösterilmiş performans | Her kural bir aralığa göre karara bağlanır: PASS, FAIL, INSUFFICIENT_EVIDENCE ya da MANUAL_REVIEW. Paketin dağıtım ortamına benzeyip benzemediği size kalmıştır | Kısmen |
| MEASURE 2.4 | Canlı ortamda izlenen davranış | Kişiler, çalışma alanının gerçek trafikten çektiği bir örneklemi inceler (Canlı ortamı değerlendirmek) | Kısmen |
| MEASURE 2.5 | Gösterilmiş geçerlilik ve güvenilirlik | Paydalarıyla birlikte aralıklar ve karar vermelerine izin verilmeden önce insanlara karşı ölçülen hakemler (Hakemler) | Kısmen |
| MEASURE 2.6 | Düzenli olarak değerlendirilen emniyet riskleri | Ters giden şeyler üzerinde, vakalarınıza göre karara bağlanan tavanlar ve elinizde olduğunda okunan bir red team aracının notları (Risk tavanları). Oloproof saldırı yazmaz | Kısmen |
| MEASURE 2.7 | Değerlendirilen güvenlik ve dayanıklılık | Yalnızca yazdığınız ya da içe aktardığınız vakalar üzerindeki tavanlar aracılığıyla | Kısmen |
| MEASURE 2.8 | İncelenen şeffaflık ve hesap verebilirlik | Adı belirtilen iki kişinin geçersiz kılmaları ve onayları; bir zincirde tutulur ve karar kaydında taşınır | Kısmen |
| MEASURE 2.9 | Açıklanan model ve yorumlanan çıktısı | Müdahaleyle yapılan tanılar, başarısızlıklarda payı olan parçayı adlandırır; hiçbir modeli açıklamaz | Kısmen |
| MEASURE 2.10 | İncelenen gizlilik riski | Egress politikası içeriği sizin tarafınızda tutar; hiçbir gizlilik riski değerlendirilmez | Kapsanmıyor |
| MEASURE 2.11 | Değerlendirilen adillik ve yanlılık | Çoklu karşılaştırma kontrolüyle ölçülen bildirilmiş dilimler; bir dilimi neyin adil kıldığı size kalmıştır | Kısmen |
| MEASURE 2.12 | Değerlendirilen çevresel etki | Maliyet kaydedilir; enerji kaydedilmez | Kapsanmıyor |
| MEASURE 2.13 | Değerlendirilen ölçümün kendisi | İnsanların etiketlerine karşı doğrulanan hakemler ve her biri bir not, bir kapsama ızgarası ve bir denetimle kabul edilen istatistiksel yöntemler | Kısmen |
| MEASURE 3.1 | Zaman içinde izlenen riskler | Eğilim, güncellik ve canlı ortam incelemesi | Kısmen |
| MEASURE 3.2 | Ölçülmesi zor riskler | Kanıtın karara bağlayamadığı bir kural bunu söyler (INSUFFICIENT_EVIDENCE, MANUAL_REVIEW) ve karara bağlanmamış bir aralık kaç vakanın daha ona karar vereceğini söyler | Kısmen |
| MEASURE 3.3 | Son kullanıcılardan geri bildirim | Hiçbir şey | Kapsanmıyor |
| MEASURE 4.1 | Dağıtım bağlamına bağlanmış ölçüm | Kendi inceleyicilerinizden gelen etiketler; bağlam size kalmıştır | Kısmen |
| MEASURE 4.2 | Alan uzmanlarının katkısıyla elde edilen sonuçlar | Bir hakemin ne değer taşıdığına inceleyicilerin etiketleri karar verir | Kısmen |
| MEASURE 4.3 | Belgelenmiş iyileşmeler ve gerilemeler | Bir değişikliğin canlıdaki sürümle eşleştirilmiş, aralıklarla yapılan karşılaştırmaları (Karşılaştırma) | Kaydedildi |
OSFI Guideline E-23 (2027)
| İlke | Kısaca ne istiyor | Oloproof ne kaydediyor | Durum |
|---|---|---|---|
| 1.1 ile 1.3 arası | Raporlama hatları, bir model riski çerçevesi, amacına uygun modeller | Tek bir amaca uygunluğun kanıtı: bir sürüm politikasının aralıklara göre karara bağlanan kuralları. Çerçeve ve onun yönetişimi size kalmıştır | Kısmen |
| 2.1 | Kullanımdaki modellerin envanteri | Her projenin sistem sürümleri, onları değerlendiren çalıştırmaların kaydettiği haliyle. Kurum çapında bir envanter değildir | Kısmen |
| 2.2 | Bir model riski derecelendirmesi | Hiçbir şey | Kapsanmıyor |
| 2.3 | Riskle orantılı çaba | Proje başına bir politika: çıtaları, güven düzeyi, geçen bir sürümün iki kişinin onayına ihtiyaç duyup duymadığı | Kısmen |
| 3.1 | Belgelenmiş yaşam döngüsü politikaları | Sürüm politikası bir dosyadır; altında karara bağlanan her kapıyla birlikte özetiyle kaydedilir | Kısmen |
| 3.2 | Kullanımına uygun veri | İçeriğe göre sürümlenen paketler; kullanıma uyup uymadıkları size kalmıştır | Kısmen |
| 3.3 | Performans ve belgeleme için geliştirme standartları | Eşikli kurallar ve her çalıştırmanın kaydı | Kısmen |
| 3.4 | Sağlamlığın ve performansın bağımsız incelemesi | Kendi doğruladığı kanıta göre karar veren bir çalışma alanı kapısı, platform ekibinizin kaydettiği bir runner'ın imzaladığı çalıştırmalar ve bir inceleyicinin çevrimdışı denetlediği bir karar kaydı. İnceleme işlevi size kalmıştır | Kısmen |
| 3.5 | Kalite ve değişiklik kontrolüyle dağıtım | Hiçbir şey: imzalı bir çalıştırma, bir runner'ın neyi yürüttüğünü tasdik eder, canlı ortamda neyin hizmet verdiğini değil | Kapsanmıyor |
| 3.6 | İzleme ve kullanımdan kaldırma | İzleme için canlı ortam incelemesi ve güncellik; kullanımdan kaldırma kapsanmaz | Kısmen |
| Onay | Kalan riskin teyit edildiği, kullanımdan önce onay | Geçen bir sürüm, adı belirtilen iki kişinin onayını bekleyebilir; onay kaydedilir ve zincirlenir (Kapı denetimi) | Kısmen |
Sonraki adımlar
- Kapı denetimi: sürüm politikası, onaylar ve karar kaydı.
- Risk tavanları: bir tavanın neye karar verdiği ve neyi söylemediği.
- Bugün neler çalışıyor: yapılmış olan her şey ve yapılmamış olanlar.