On the Within-Group Fairness of Screening Classifiers

要約

スクリーニング分類子は、さまざまな選考プロセスで資格のある候補者を識別するために使用されることが増えています。
これに関連して、分類器が校正されていれば、閾値決定ルールを使用して、期待される適格な候補数を含む最小の候補セットを識別できることが最近示されました。
これにより、分類子をスクリーニングするための唯一の要件としてキャリブレーションに焦点を当てることがサポートされます。
この論文では、調整された分類子を使用するスクリーニング ポリシーは、十分に研究されていないタイプのグループ内不公平に悩まされる可能性がある、つまり人口統計上の関心のあるグループ内で資格のあるメンバーを不公平に扱う可能性があると主張します。
さらに、分類器が各グループ内の自然な単調性特性であるグループ内単調性を満たしていれば、この種の不公平は回避できると主張します。
次に、動的計画法に基づく効率的な後処理アルゴリズムを導入し、特定の校正済み分類器を最小限に変更して、その確率推定値がグループ内単調性を満たすようにします。
米国国勢調査データを使用してアルゴリズムを検証し、予測の粒度や候補リストのサイズの点で、グループ内の単調性が低コストで達成できることが多いことを示します。

要約(オリジナル)

Screening classifiers are increasingly used to identify qualified candidates in a variety of selection processes. In this context, it has been recently shown that, if a classifier is calibrated, one can identify the smallest set of candidates which contains, in expectation, a desired number of qualified candidates using a threshold decision rule. This lends support to focusing on calibration as the only requirement for screening classifiers. In this paper, we argue that screening policies that use calibrated classifiers may suffer from an understudied type of within-group unfairness — they may unfairly treat qualified members within demographic groups of interest. Further, we argue that this type of unfairness can be avoided if classifiers satisfy within-group monotonicity, a natural monotonicity property within each of the groups. Then, we introduce an efficient post-processing algorithm based on dynamic programming to minimally modify a given calibrated classifier so that its probability estimates satisfy within-group monotonicity. We validate our algorithm using US Census survey data and show that within-group monotonicity can be often achieved at a small cost in terms of prediction granularity and shortlist size.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google