Công bằng giữa các nhóm

Một mô hình có thể vượt ngưỡng độ chính xác cho mọi nhóm mà vẫn khắt khe hơn với một nhóm: gấp đôi số âm tính giả, hoặc chỉ một nửa số lần được chọn. oloproof fairness đọc một tệp các ca đã được quyết định và hỏi các nhóm cách nhau bao xa. Nó trả lời bằng cùng bốn trạng thái như mọi quy tắc khác. Phương pháp đo tính ngang bằng đã được một cuộc kiểm toán độc lập chấp nhận vào ngày 3 tháng 11 năm 2026, theo các điều kiện trang này nêu: các ca độc lập, các nhóm được khai báo trước, mỗi quy tắc nói về các ca có ghi thuộc tính của nó, và tính ngang bằng được đo theo nhãn của bạn.

Tệp và khai báo

Một tệp CSV hoặc JSONL với một hàng cho mỗi ca: một id, nhãn (0 hoặc 1), dự đoán (0 hoặc 1, để trống khi hệ thống không đưa ra), tùy chọn một xác suất, và một cột cho mỗi thuộc tính được bảo vệ.

fairness:
  name: loan-screen
  cases: decided.csv
  label: label
  prediction: prediction
  probability: score
  attributes:
    sex: [female, male]
    age_band: [under_30, 30_to_60, over_60]
  intersections:
    - [sex, age_band]
  min_cell: 30
  rules:
    - {id: fnr-by-sex, rate: false_negative, attribute: sex, max_group_gap: 0.05}
    - {id: fnr-crossed, rate: false_negative, attribute: [sex, age_band], max_group_gap: 0.10}

oloproof fairness fairness.yaml --policy release.yaml --json

Khoảng tin cậy giả định mỗi trường hợp là một người khác nhau. Đặt tên cột xác định người bằng unit: person_id thì tệp có một người với nhiều trường hợp sẽ bị từ chối; nếu không có cột đó, câu trả lời nêu rõ giả định này.

Tỷ lệ là một trong error, false_positive (trên các ca có nhãn 0), false_negative (trên các ca có nhãn 1) hoặc selection (dự đoán 1, trên mọi ca). Hãy đặt tên các nhóm trước khi đọc tệp. Mỗi quy tắc chỉ đọc các ca có thuộc tính của chính nó được ghi với một giá trị đã khai báo; một ca thiếu một thuộc tính bị loại khỏi các quy tắc dùng thuộc tính đó và được giữ ở các quy tắc khác, và mỗi câu trả lời đếm những gì nó đã loại ra và lý do. Khi một thuộc tính bị thiếu ở một số người thường xuyên hơn ở những người khác, câu trả lời là về các ca có ghi thuộc tính đó, tức là một tổng thể khác: hãy đọc số đếm trước kết luận. Một quy tắc loại ra nhiều hơn max_left_out của tệp (mặc định 10%; đặt nó trên quy tắc) đọc là INSUFFICIENT_EVIDENCE, vì các ca được ghi có thể không còn đại diện cho phần còn lại. Mã thoát là mã của quy tắc tệ nhất: 0 PASS, 1 FAIL, 3 INSUFFICIENT_EVIDENCE, 4 MANUAL_REVIEW.

Cách nó quyết định

Tỷ lệ của mỗi nhóm nhận khoảng chính xác mà Oloproof dùng cho một tỷ lệ, với ngân sách sai số chia cho số nhóm đã khai báo. Mọi chênh lệch giữa hai nhóm được chặn từ các khoảng đó, tất cả cùng lúc, nên không cặp nào cần hiệu chỉnh riêng. Một quy tắc max_group_gap đạt khi đầu trên của mọi chênh lệch nằm tại hoặc dưới ngưỡng, và không đạt khi có chênh lệch nằm trên ngưỡng với toàn bộ khoảng của nó. Một dự đoán bị thiếu vẫn ở trong nhóm của nó và được tính ở giá trị tệ nhất.

Nhóm nhỏ và nhóm giao nhau

Giao hai thuộc tính sẽ nhân số ô lên, và một số ô sẽ nhỏ. Một ô có ít ca có dự đoán hơn min_cell (các ca thiếu dự đoán không được tính vào đó) được báo cáo là INSUFFICIENT_EVIDENCE trên dòng riêng của nó, vẫn được tính trong phép chia, và ngăn quy tắc đạt, vì chênh lệch lớn nhất có thể nằm ở đó. Hãy thu thập thêm ca cho ô đó, hoặc khai báo một phép giao thô hơn trước khi chạy.

Mức sàn và chênh lệch

Dùng worst_group cho một mức sàn mà mọi nhóm phải vượt ("mỗi khu vực giải quyết ít nhất 80%"), và max_group_gap cho một mức trần về khoảng cách giữa các nhóm ("âm tính giả chênh nhau tối đa năm điểm"). Một yêu cầu quản trị về kết quả không thiên lệch được chứng minh một phần bằng chênh lệch, cho tỷ lệ bạn đã chọn; một yêu cầu rằng mọi nhóm đều được phục vụ tốt, bằng mức sàn. Riêng một trong hai không cho thấy một hệ thống là công bằng. Hầu hết hệ thống cần cả hai.

Hiệu chuẩn theo nhóm

Khi có cột xác suất, sai số hiệu chuẩn kỳ vọng của mỗi nhóm được báo cáo cho mọi thuộc tính và mọi phép giao đã khai báo, trên calibration_bins khoảng xác suất có độ rộng bằng nhau (mặc định 10). Nó không bao giờ quyết định cổng: không phương pháp được chấp nhận nào chặn được nó, và trong một nhóm nhỏ nó nhiễu.

Điều này không thể cho bạn biết

• Tỷ lệ nào là tỷ lệ công bằng để cân bằng: đó là quyết định của bạn, và đáng được ghi lại cùng các thuộc tính bạn đã chọn.
• Bất cứ điều gì về các nhóm bạn không khai báo, hoặc về những người được đếm hai lần (một người, nhiều ca).
• Liệu hiệu chuẩn giữa các nhóm có khác nhau nhiều hơn mức ngẫu nhiên hay không.
• Liệu bản thân các nhãn có thiên lệch hay không: tính ngang bằng được đo so với các nhãn bạn mang đến.