Gruplar arasında adillik

Bir model her grup için doğruluk eşiğini geçip yine de bunlardan birine karşı daha sert olabilir: iki kat yanlış negatif ya da yarı yarıya seçim. oloproof fairness karara bağlanmış vakalardan oluşan bir dosyayı okur ve grupların birbirinden ne kadar uzak olduğunu sorar. Diğer her kural gibi aynı dört durumla yanıt verir. Eşitlik (parity) yöntemi 3 Kasım 2026'da bağımsız bir denetimle, bu sayfanın belirttiği koşullarla kabul edildi: vakalar bağımsız, gruplar önceden bildirilmiş, her kural özelliklerinin kaydedildiği vakalar hakkında ve eşitlik etiketlerinize göre ölçülür.

Dosya ve bildirim

Vaka başına bir satır içeren tek bir CSV veya JSONL dosyası: bir id, etiket (0 veya 1), tahmin (0 veya 1, sistem tahmin vermediyse boş), isteğe bağlı olarak bir olasılık ve her korunan özellik için bir sütun.

fairness:
  name: loan-screen
  cases: decided.csv
  label: label
  prediction: prediction
  probability: score
  attributes:
    sex: [female, male]
    age_band: [under_30, 30_to_60, over_60]
  intersections:
    - [sex, age_band]
  min_cell: 30
  rules:
    - {id: fnr-by-sex, rate: false_negative, attribute: sex, max_group_gap: 0.05}
    - {id: fnr-crossed, rate: false_negative, attribute: [sex, age_band], max_group_gap: 0.10}

oloproof fairness fairness.yaml --policy release.yaml --json

Aralık, her vakanın farklı bir kişi olduğunu varsayar. Kişiyi tanımlayan sütunu unit: person_id ile adlandırırsanız bir kişinin birden çok vakası olan dosya reddedilir; bu sütun olmadan yanıt varsayımı belirtir.

Oran şunlardan biridir: error, false_positive (etiketi 0 olan vakalar üzerinden), false_negative (etiketi 1 olan vakalar üzerinden) veya selection (1 tahmin edilen, tüm vakalar üzerinden). Dosyayı okumadan önce grupları adlandırın. Her kural yalnızca kendi özellikleri bildirilen bir değerle kaydedilmiş vakaları okur; bir özelliği eksik olan vaka, o özelliği kullanan kurallardan dışarıda bırakılır ve diğerlerinde tutulur; her yanıt neyi neden dışarıda bıraktığını sayar. Bir özellik bazı kişilerde diğerlerinden daha sık eksikse, yanıt onun kaydedildiği vakalar hakkındadır ve bu farklı bir popülasyondur: kararı okumadan önce sayımı okuyun. Dosyanın max_left_out oranından fazlasını dışarıda bırakan bir kural (varsayılan %10; kuralda ayarlayın) INSUFFICIENT_EVIDENCE okunur, çünkü kaydedilmiş vakalar artık geri kalanları temsil etmeyebilir. Çıkış kodu en kötü kuralınkidir: 0 PASS, 1 FAIL, 3 INSUFFICIENT_EVIDENCE, 4 MANUAL_REVIEW.

Nasıl karar verir

Her grubun oranı, Oloproof'un tek bir oran için kullandığı kesin aralığı alır; hata bütçesi bildirilen grup sayısına bölünerek. İki grup arasındaki her fark bunlardan, hepsi aynı anda sınırlanır; böylece hiçbir çiftin kendi düzeltmesine ihtiyacı olmaz. Bir max_group_gap kuralı, her farkın üst ucu eşikte veya altında olduğunda geçer; bir fark tüm aralığıyla eşiğin üstünde olduğunda kalır. Eksik bir tahmin kendi grubunda kalır ve en kötü değeriyle sayılır.

Küçük gruplar ve kesişen gruplar

İki özelliği kesiştirmek hücreleri çoğaltır ve bazıları küçük olacaktır. Tahmini olan vaka sayısı min_cell değerinden az olan bir hücre (tahmini eksik vakalar buna sayılmaz) kendi satırında INSUFFICIENT_EVIDENCE olarak raporlanır, bölünmede yine sayılır ve kuralın geçmesini engeller, çünkü en büyük fark orada olabilir. O hücre için daha fazla vaka toplayın veya çalıştırmadan önce daha kaba bir kesişim bildirin.

Tabanlar ve farklar

Her grubun geçmesi gereken bir taban için worst_group ("her bölge en az %80 çözer"), gruplar arasındaki mesafeye bir tavan için max_group_gap kullanın ("yanlış negatifler en fazla beş puan farklıdır"). Yanlı olmayan sonuçlar için bir yönetişim gereksinimi, seçtiğiniz oran için, kısmen farkla kanıtlanır; her grubun iyi hizmet almasını isteyen bir gereksinim ise tabanla. Hiçbiri tek başına bir sistemin adil olduğunu göstermez. Çoğu sistemin ikisine de ihtiyacı vardır.

Gruba göre kalibrasyon

Bir olasılık sütunu varsa, her grubun beklenen kalibrasyon hatası her özellik ve bildirilen her kesişim için, olasılığın calibration_bins eşit genişlikli aralığı üzerinden (varsayılan 10) raporlanır. Asla geçişi belirlemez: kabul edilmiş hiçbir yöntem onu sınırlamaz ve küçük bir grupta gürültülüdür.

Bunun size söyleyemeyecekleri

• Eşitlemek için hangi oranın adil olduğu: bu sizin kararınızdır ve seçtiğiniz özelliklerle birlikte kaydetmeye değer.
• Bildirmediğiniz gruplar veya iki kez sayılan kişiler (bir kişi, birden çok vaka) hakkında herhangi bir şey.
• Kalibrasyonun gruplar arasında şanstan daha fazla farklı olup olmadığı.
• Etiketlerin kendisinin yanlı olup olmadığı: eşitlik, getirdiğiniz etiketlere göre ölçülür.