FAIRLABEL: Correcting Bias in Labels

要約

ML モデルの公平性を測定するためのアルゴリズムがいくつかあります。
これらのアプローチの基本的な前提は、グラウンド トゥルースが公平または不偏であるということです。
ただし、現実世界のデータセットでは、多くの場合、グラウンド トゥルースには、歴史的および社会的な偏見や差別の結果であるデータが含まれています。
これらのデータセットでトレーニングされたモデルは、バイアスを継承し、モデル出力に伝播します。
ラベルの偏りを検出し修正するアルゴリズム FAIRLABEL を提案します。
FAIRLABEL の目標は、高い予測精度を維持しながら、グループ間の異種影響 (DI) を削減することです。
バイアス補正の品質を測定し、合成データセットで FAIRLABEL を検証するためのメトリクスを提案し、ラベル補正が 86.7% の確率で正しいのに対し、ベースライン モデルの場合は 71.9% であることを示します。
また、UCI Adult、German Credit Risk、Compas データセットなどのベンチマーク データセットに FAIRLABEL を適用し、異種影響率が 54.2% も増加することを示します。

要約(オリジナル)

There are several algorithms for measuring fairness of ML models. A fundamental assumption in these approaches is that the ground truth is fair or unbiased. In real-world datasets, however, the ground truth often contains data that is a result of historical and societal biases and discrimination. Models trained on these datasets will inherit and propagate the biases to the model outputs. We propose FAIRLABEL, an algorithm which detects and corrects biases in labels. The goal of FAIRLABELis to reduce the Disparate Impact (DI) across groups while maintaining high accuracy in predictions. We propose metrics to measure the quality of bias correction and validate FAIRLABEL on synthetic datasets and show that the label correction is correct 86.7% of the time vs. 71.9% for a baseline model. We also apply FAIRLABEL on benchmark datasets such as UCI Adult, German Credit Risk, and Compas datasets and show that the Disparate Impact Ratio increases by as much as 54.2%.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google