Counterfactual Situation Testing: Uncovering Discrimination under Fairness given the Difference

要約

分類子における差別を検出するための因果関係データ マイニング フレームワークである反事実状況テスト (CST) を紹介します。
CST は、「個人または申立人が異なる保護ステータスにあった場合、モデルの結果はどうなったでしょうか?」という直観的な質問に、実用的かつ有意義な方法で答えることを目指しています。
これは、Thanh 氏らの法的根拠に基づいた状況テストを拡張するものです。
(2011) 反事実的推論を使用して、差異を考慮した公平性の概念を運用することによって。
苦情を申し立てた人については、分類器が対照グループとテストグループを構築するために使用したデータセット内で、同様の保護されたインスタンスと保護されていないインスタンスを見つけて比較します。この場合、2 つのグループの決定結果の違いは、潜在的な個人差別を意味します。
申立人を中心に両方のグループを構築する状況テストとは異なり、因果関係の知識を使用して生成された申立人の反事実に基づいてテスト グループを構築します。
反事実は、保護された属性が変更されたときに、分類子によって使用される一見中立的な属性にどのような影響を与えるかを反映することを目的としています。これは、多くの差別フレームワークでは当然のことと考えられています。
CST では、各グループ内では類似した個人を比較しますが、申立人とその反事実の間には相違がある可能性があるため、両グループ間では異なる個人を比較します。
2 つの分類シナリオでフレームワークを評価すると、分類子が Kusner らの反事実的公平性条件を満たしている場合でも、状況テストよりも多くのケースを明らかにできることがわかります。
（2017年）。

要約(オリジナル)

We present counterfactual situation testing (CST), a causal data mining framework for detecting discrimination in classifiers. CST aims to answer in an actionable and meaningful way the intuitive question ‘what would have been the model outcome had the individual, or complainant, been of a different protected status?’ It extends the legally-grounded situation testing of Thanh et al. (2011) by operationalizing the notion of fairness given the difference using counterfactual reasoning. For any complainant, we find and compare similar protected and non-protected instances in the dataset used by the classifier to construct a control and test group, where a difference between the decision outcomes of the two groups implies potential individual discrimination. Unlike situation testing, which builds both groups around the complainant, we build the test group on the complainant’s counterfactual generated using causal knowledge. The counterfactual is intended to reflect how the protected attribute when changed affects the seemingly neutral attributes used by the classifier, which is taken for granted in many frameworks for discrimination. Under CST, we compare similar individuals within each group but dissimilar individuals across both groups due to the possible difference between the complainant and its counterfactual. Evaluating our framework on two classification scenarios, we show that it uncovers a greater number of cases than situation testing, even when the classifier satisfies the counterfactual fairness condition of Kusner et al. (2017).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google