指南

跨群体的公平性

一个模型可以在每个群体上都达到准确率门槛,却仍然对其中一个更严苛:假阴性多一倍,或者选中率只有一半。oloproof fairness 读取一份已判定用例的文件,并询问各群体之间相差多远。它用与其他所有规则相同的四种状态作答。均等(parity)方法已于 2026 年 11 月 3 日通过独立审计准入,条件即本页所述:用例相互独立,群体事先声明,每条规则针对其属性已记录的用例,均等以你的标签为准来衡量。

文件与声明

一个 CSV 或 JSONL 文件,每个用例一行:一个 id、标签(0 或 1)、预测(0 或 1,系统没有给出时留空)、可选的概率,以及每个受保护属性一列。

fairness:
  name: loan-screen
  cases: decided.csv
  label: label
  prediction: prediction
  probability: score
  attributes:
    sex: [female, male]
    age_band: [under_30, 30_to_60, over_60]
  intersections:
    - [sex, age_band]
  min_cell: 30
  rules:
    - {id: fnr-by-sex, rate: false_negative, attribute: sex, max_group_gap: 0.05}
    - {id: fnr-crossed, rate: false_negative, attribute: [sex, age_band], max_group_gap: 0.10}

oloproof fairness fairness.yaml --policy release.yaml --json

区间假定每个案例都是不同的人。用 unit: person_id 指定标识人的列，一个人有多个案例的文件会被拒绝；不指定时，回答会写明这一假定。

比率是以下之一:error、false_positive(以标签为 0 的用例为分母)、false_negative(以标签为 1 的用例为分母)或 selection(预测为 1,以所有用例为分母)。在读取文件之前先指定群体。每条规则只读取其自身属性以已声明值记录的用例;缺少某个属性的用例会被排除在使用该属性的规则之外,但保留在其他规则中,每个答案都会计数它排除了什么以及原因。当某些人比其他人更常缺少某个属性时,答案针对的是记录了该属性的用例,那是另一个总体:先读计数,再读结论。排除的用例超过文件 max_left_out(默认 10%;在规则上设置)的规则读作 INSUFFICIENT_EVIDENCE,因为已记录的用例可能不再代表其余用例。退出码取最差规则的退出码:0 PASS,1 FAIL,3 INSUFFICIENT_EVIDENCE,4 MANUAL_REVIEW。

它如何判定

每个群体的比率得到 Oloproof 用于单个比率的精确区间,其水平为错误预算除以已声明群体的数量。任意两个群体之间的每个差值都由这些区间同时界定,因此任何一对都不需要单独校正。当每个差距的上端都不超过门槛时,max_group_gap 规则通过;当某个差距的整个区间都高于门槛时,规则失败。缺失的预测留在其群体中,并按最差值计数。

小群体与交叉群体

交叉两个属性会使单元成倍增加,其中一些会很小。有预测的用例数少于 min_cell 的单元(缺少预测的用例不计入其中)会在自己的一行报告为 INSUFFICIENT_EVIDENCE,在划分中仍被计数,并阻止规则通过,因为最大的差距可能就在那里。为该单元收集更多用例,或在运行之前声明一个更粗的交叉。

下限与差距

用 worst_group 设定每个群体都必须达到的下限("每个地区至少解决 80%"),用 max_group_gap 设定群体之间距离的上限("假阴性相差至多五个百分点")。要求结果无偏的治理要求,就你选择的比率而言,部分由差距来佐证;要求每个群体都得到良好服务的要求,由下限来佐证。两者单独都不能表明系统是公平的。大多数系统两者都需要。

按群体的校准

有概率列时,会针对每个属性和每个已声明的交叉报告各群体的期望校准误差,按概率划分为 calibration_bins 个等宽分箱(默认 10 个)。它从不作为门控:没有已准入的方法能界定它,而且在小群体中它噪声很大。

它无法告诉你的

应该让哪个比率相等才算公平:这是你的决定,值得与你选择的属性一起记录下来。
关于你未声明的群体的任何事情,或关于被计数两次的人(一个人,多个用例)。
校准在群体之间的差异是否超出偶然。
标签本身是否有偏:均等是相对于你带来的标签来衡量的。