Counterfactual Fair Opportunity: Measuring Decision Model Fairness with Counterfactual Reasoning

要約

人工知能および機械学習モデルの適用の増加は、不公平な行動の潜在的なリスクをもたらし、最近の規制に照らして、研究コミュニティの注目を集めています。
何人かの研究者は、新しい公平性の定義を求めたり、偏った予測を特定するためのアプローチを開発したりすることに焦点を当てました。
しかし、この目的のために反事実空間を利用しようとする人は誰もいません。
その方向で、この作業で提案された方法論は、無意識設定の下での公平性の場合に、反事実推論を使用して不公平なモデル動作を明らかにすることを目的としています。
反事実公正な機会と呼ばれる機会均等の反事実バージョンが定義され、反事実サンプルの機密情報を分析する 2 つの新しいメトリックが導入されます。
3 つの異なるデータセットでの実験結果は、私たちの方法論とメトリクスの有効性を示しており、従来の機械学習とバイアス緩和モデルの不公平な動作を明らかにしています。

要約(オリジナル)

The increasing application of Artificial Intelligence and Machine Learning models poses potential risks of unfair behavior and, in light of recent regulations, has attracted the attention of the research community. Several researchers focused on seeking new fairness definitions or developing approaches to identify biased predictions. However, none try to exploit the counterfactual space to this aim. In that direction, the methodology proposed in this work aims to unveil unfair model behaviors using counterfactual reasoning in the case of fairness under unawareness setting. A counterfactual version of equal opportunity named counterfactual fair opportunity is defined and two novel metrics that analyze the sensitive information of counterfactual samples are introduced. Experimental results on three different datasets show the efficacy of our methodologies and our metrics, disclosing the unfair behavior of classic machine learning and debiasing models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google