The Fragility of Fairness: Causal Sensitivity Analysis for Fair Machine Learning

要約

公平性メトリクスは、公平な機械学習文献 (FairML) の中核となるツールであり、ML モデルがある意味で「公平」であるかどうかを判断するために使用されます。
しかし、現実世界のデータは通常、さまざまな測定バイアスやその他の前提条件の違反に悩まされており、公平性評価が無意味になる可能性があります。
私たちは、因果感度分析からのツールを FairML コンテキストに適応させ、(1) 「忘却設定」で生じる可能性のある公平性メトリクスとバイアスのあらゆる組み合わせに効果的に対応する一般的なフレームワークを提供します。
(2) 研究者はバイアスの組み合わせを調査できるため、非線形感度が生じます。
(3) ドメイン固有の制約と仮定の柔軟なエンコードが可能になります。
このフレームワークを使用して、14 の正規公平性データセットにわたる 3 種類の分類器の下で最も一般的なパリティ メトリックの感度を分析します。
私たちの分析では、データセットのわずかなバイアスに対しても公平性評価が驚くほど脆弱であることが明らかになりました。
因果感度分析が、パリティ メトリック評価の有益性を評価するための強力で必要なツールキットを提供することを示します。
私たちのリポジトリは、https://github.com/Jakefawkes/fragile_fair から入手できます。

要約(オリジナル)

Fairness metrics are a core tool in the fair machine learning literature (FairML), used to determine that ML models are, in some sense, ‘fair’. Real-world data, however, are typically plagued by various measurement biases and other violated assumptions, which can render fairness assessments meaningless. We adapt tools from causal sensitivity analysis to the FairML context, providing a general framework which (1) accommodates effectively any combination of fairness metric and bias that can be posed in the ‘oblivious setting’; (2) allows researchers to investigate combinations of biases, resulting in non-linear sensitivity; and (3) enables flexible encoding of domain-specific constraints and assumptions. Employing this framework, we analyze the sensitivity of the most common parity metrics under 3 varieties of classifier across 14 canonical fairness datasets. Our analysis reveals the striking fragility of fairness assessments to even minor dataset biases. We show that causal sensitivity analysis provides a powerful and necessary toolkit for gauging the informativeness of parity metric evaluations. Our repository is available here: https://github.com/Jakefawkes/fragile_fair.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google