Auditing Predictive Models for Intersectional Biases

要約

保護されたクラスのメンバーの集合体としてグループの公平性基準を満たしているが、サブグループの公平性が保証されていない予測モデルは、2 つ以上の保護されたクラスの交差部分にある個人に対して偏った予測を生成する可能性があります。
このリスクに対処するために、分類モデルの交差バイアスを検出するための柔軟な監査フレームワークである条件付きバイアス スキャン (CBS) を提案します。
CBS は、非保護クラスの同等のサブグループと比較して、保護クラスに対して最も重大なバイアスがあるサブグループを特定し、確率予測と二値化予測の両方に一般的に使用される複数の公平性定義を組み込むことができます。
この方法論は、COMPAS 治験前リスク評価ツールでこれまで未確認だった交差バイアスと文脈バイアスを検出でき、サブグループの公平性を監査する同様の方法と比較してバイアス検出能力が高いことを示します。

要約(オリジナル)

Predictive models that satisfy group fairness criteria in aggregate for members of a protected class, but do not guarantee subgroup fairness, could produce biased predictions for individuals at the intersection of two or more protected classes. To address this risk, we propose Conditional Bias Scan (CBS), a flexible auditing framework for detecting intersectional biases in classification models. CBS identifies the subgroup for which there is the most significant bias against the protected class, as compared to the equivalent subgroup in the non-protected class, and can incorporate multiple commonly used fairness definitions for both probabilistic and binarized predictions. We show that this methodology can detect previously unidentified intersectional and contextual biases in the COMPAS pre-trial risk assessment tool and has higher bias detection power compared to similar methods that audit for subgroup fairness.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google