Counterfactual Situation Testing: Uncovering Discrimination under Fairness given the Difference

要約

我々は、分類器における差別を検出するための因果関係データマイニングのフレームワークである反実仮想状況テスト（CST）を紹介する。CSTは、「もし、個人、または苦情申し立て者が異なる保護された地位にあったら、モデルの結果はどうなっていただろうか」という直感的な質問に、実行可能かつ意味のある方法で答えることを目的としている。これは、Thanh et al. (2011)の法的根拠のある状況テストを、反実仮想推論を用いて差異を考慮した公平性の概念を運用することで拡張したものです。どのような申立人でも、分類器によって使用されるデータセットから、保護された事例と保護されていない事例の類似したものを見つけて比較し、対照群とテスト群を構築する。この2群の決定結果に差があれば、個人差別の可能性を示唆する。申立人を中心に両グループを構築するシチュエーションテストとは異なり、私たちは、因果関係の知識を用いて作成した申立人の反実仮想に基づいてテストグループを構築します。この反実仮想は、保護された属性が変化したときに、分類者が使用する一見中立的な属性にどのような影響を与えるかを反映することを意図しており、これは多くの差別の枠組みで当然のこととされている。CSTの下では、各グループ内で類似した個人を比較するが、申立人とその反実仮想との間に起こりうる差異により、両グループ間で非類似の個人を比較する。2つの分類シナリオで我々のフレームワークを評価すると、分類器がKusnerら(2017)の反事実的公正条件を満たす場合でも、状況テストよりも多くの事例を発見することが示される。

要約(オリジナル)

We present counterfactual situation testing (CST), a causal data mining framework for detecting discrimination in classifiers. CST aims to answer in an actionable and meaningful way the intuitive question ‘what would have been the model outcome had the individual, or complainant, been of a different protected status?’ It extends the legally-grounded situation testing of Thanh et al. (2011) by operationalizing the notion of fairness given the difference using counterfactual reasoning. For any complainant, we find and compare similar protected and non-protected instances in the dataset used by the classifier to construct a control and test group, where a difference between the decision outcomes of the two groups implies potential individual discrimination. Unlike situation testing, which builds both groups around the complainant, we build the test group on the complainant’s counterfactual generated using causal knowledge. The counterfactual is intended to reflect how the protected attribute when changed affects the seemingly neutral attributes used by the classifier, which is taken for granted in many frameworks for discrimination. Under CST, we compare similar individuals within each group but dissimilar individuals across both groups due to the possible difference between the complainant and its counterfactual. Evaluating our framework on two classification scenarios, we show that it uncovers a greater number of cases than situation testing, even when the classifier satisfies the counterfactual fairness condition of Kusner et al. (2017).

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL