Keadilan antarkelompok

Sebuah model dapat melewati ambang akurasinya untuk setiap kelompok dan tetap lebih keras terhadap salah satunya: dua kali lipat negatif palsu, atau separuh seleksi. oloproof fairness membaca berkas kasus yang sudah diputuskan dan menanyakan seberapa jauh jarak antarkelompok. Ia menjawab dengan empat status yang sama seperti setiap aturan lain. Metode paritas diterima oleh audit independen pada 3 November 2026, dengan ketentuan yang dinyatakan halaman ini: kasus saling independen, kelompok dideklarasikan lebih dulu, setiap aturan tentang kasus tempat atributnya tercatat, dan paritas diukur terhadap label Anda.

Berkas dan deklarasi

Satu berkas CSV atau JSONL dengan satu baris per kasus: sebuah id, label (0 atau 1), prediksi (0 atau 1, kosong bila sistem tidak memberikannya), secara opsional sebuah probabilitas, dan satu kolom per atribut yang dilindungi.

fairness:
  name: loan-screen
  cases: decided.csv
  label: label
  prediction: prediction
  probability: score
  attributes:
    sex: [female, male]
    age_band: [under_30, 30_to_60, over_60]
  intersections:
    - [sex, age_band]
  min_cell: 30
  rules:
    - {id: fnr-by-sex, rate: false_negative, attribute: sex, max_group_gap: 0.05}
    - {id: fnr-crossed, rate: false_negative, attribute: [sex, age_band], max_group_gap: 0.10}

oloproof fairness fairness.yaml --policy release.yaml --json

Interval mengasumsikan setiap kasus adalah orang yang berbeda. Sebutkan kolom yang mengidentifikasi orang dengan unit: person_id, maka berkas yang satu orangnya memiliki beberapa kasus ditolak; tanpa kolom itu, jawaban menyatakan asumsinya.

Tingkatnya adalah salah satu dari error, false_positive (atas kasus berlabel 0), false_negative (atas kasus berlabel 1) atau selection (diprediksi 1, atas setiap kasus). Namai kelompok sebelum Anda membaca berkas. Setiap aturan hanya membaca kasus yang atribut miliknya sendiri tercatat dengan nilai yang dideklarasikan; kasus yang tidak memiliki suatu atribut dikeluarkan dari aturan yang menggunakannya dan tetap dipakai oleh aturan lain, dan setiap jawaban menghitung apa yang dikeluarkannya dan alasannya. Bila suatu atribut lebih sering hilang pada sebagian orang dibanding yang lain, jawabannya adalah tentang kasus tempat atribut itu tercatat, yang merupakan populasi berbeda: baca hitungannya sebelum putusannya. Aturan yang mengeluarkan lebih dari max_left_out berkas (bawaan 10%; atur di aturannya) terbaca INSUFFICIENT_EVIDENCE, karena kasus yang tercatat mungkin tidak lagi mewakili sisanya. Kode keluar adalah milik aturan terburuk: 0 PASS, 1 FAIL, 3 INSUFFICIENT_EVIDENCE, 4 MANUAL_REVIEW.

Cara memutuskan

Tingkat setiap kelompok mendapat interval eksak yang digunakan Oloproof untuk satu tingkat, pada anggaran galat dibagi jumlah kelompok yang dideklarasikan. Setiap selisih antara dua kelompok dibatasi dari interval-interval itu, semuanya sekaligus, sehingga tidak ada pasangan yang memerlukan koreksinya sendiri. Aturan max_group_gap lolos bila ujung atas setiap selisih berada pada atau di bawah ambang, dan gagal bila suatu selisih berada di atas ambang dengan seluruh intervalnya. Prediksi yang hilang tetap di kelompoknya dan dihitung pada nilai terburuknya.

Kelompok kecil dan kelompok silang

Menyilangkan dua atribut melipatgandakan sel, dan sebagian akan kecil. Sel dengan kasus yang memiliki prediksi lebih sedikit dari min_cell (kasus yang prediksinya hilang tidak dihitung untuk itu) dilaporkan INSUFFICIENT_EVIDENCE pada barisnya sendiri, tetap dihitung dalam pembagian, dan mencegah aturan lolos, karena selisih terbesar bisa berada di sana. Kumpulkan lebih banyak kasus untuk sel itu, atau deklarasikan persilangan yang lebih kasar sebelum run.

Batas bawah dan selisih

Gunakan worst_group untuk batas bawah yang harus dilewati setiap kelompok ("setiap wilayah menyelesaikan setidaknya 80%"), dan max_group_gap untuk batas atas jarak antarkelompok ("negatif palsu berbeda paling banyak lima poin"). Persyaratan tata kelola untuk hasil yang tidak bias sebagian dibuktikan oleh selisih, untuk tingkat yang Anda pilih; persyaratan agar setiap kelompok dilayani dengan baik, oleh batas bawah. Tidak satu pun dari keduanya sendirian menunjukkan bahwa sebuah sistem adil. Sebagian besar sistem membutuhkan keduanya.

Kalibrasi per kelompok

Dengan kolom probabilitas, galat kalibrasi harapan setiap kelompok dilaporkan untuk setiap atribut dan setiap persilangan yang dideklarasikan, atas calibration_bins bin probabilitas yang lebarnya sama (10 secara bawaan). Ia tidak pernah menjadi gerbang: tidak ada metode yang diterima yang membatasinya, dan dalam kelompok kecil ia berderau.

Apa yang tidak dapat diberitahukan

• Tingkat mana yang adil untuk disamakan: itu keputusan Anda, dan layak dicatat bersama atribut yang Anda pilih.
• Apa pun tentang kelompok yang tidak Anda deklarasikan, atau tentang orang yang terhitung dua kali (satu orang, beberapa kasus).
• Apakah kalibrasi berbeda antarkelompok lebih dari sekadar kebetulan.
• Apakah labelnya sendiri bias: paritas diukur terhadap label yang Anda bawa.