Social Bias Meets Data Bias: The Impacts of Labeling and Measurement Errors on Fairness Criteria

要約

タイトル「社会的バイアスがデータバイアスに影響を与える：フェアネス基準へのラベリングと測定誤差の影響」
要約：
– 機械学習アルゴリズムが既存の社会的バイアスを示したり拡大しないようにするために、多くのフェアネス基準が提案されていますが、これらのアルゴリズムは統計的にバイアスがかかったデータに基づいています。
– この論文では、アルゴリズムがバイアスのかかったデータに基づいてトレーニングされた場合に、いくつかの既存の（人口統計学的）フェアネス基準の堅牢性を調べます。
– 我々は、2つの形態のデータセットのバイアス、つまりラベリングプロセスでの先行意思決定者の誤りと、不利な個人の特徴の測定誤差を考慮しています。
– 分析的に、一部の制約（人口統計学的公平性など）は、一定の統計バイアスに直面しても堅牢性を維持することができますが、他のもの（等価なオッズなど）は、バイアスのかかったデータでトレーニングされた場合に顕著に違反します。
– 我々はまた、これらの基準と意思決定者の有用性におけるバイアスの感度を分析します。
– FICO、Adult、German credit scoreデータセットの3つの実世界のデータに基づく数値実験を提供し、分析結果を支持します。
– 利用可能なデータセットにバイアスがかかっている場合、既存のフェアネス基準の選択または新しい基準の提案についての追加のガイドラインを提供する。

要約(オリジナル)

Although many fairness criteria have been proposed to ensure that machine learning algorithms do not exhibit or amplify our existing social biases, these algorithms are trained on datasets that can themselves be statistically biased. In this paper, we investigate the robustness of a number of existing (demographic) fairness criteria when the algorithm is trained on biased data. We consider two forms of dataset bias: errors by prior decision makers in the labeling process, and errors in measurement of the features of disadvantaged individuals. We analytically show that some constraints (such as Demographic Parity) can remain robust when facing certain statistical biases, while others (such as Equalized Odds) are significantly violated if trained on biased data. We also analyze the sensitivity of these criteria and the decision maker’s utility to biases. We provide numerical experiments based on three real-world datasets (the FICO, Adult, and German credit score datasets) supporting our analytical findings. Our findings present an additional guideline for choosing among existing fairness criteria, or for proposing new criteria, when available datasets may be biased.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI