Measuring and Mitigating Bias for Tabular Datasets with Multiple Protected Attributes

要約

欧州連合における AI 法の最新の正誤表の発表 (67) を動機として、私たちは表形式のデータセットにおける差別の対策と緩和戦略を提案し、提示します。
特に、国籍、年齢、性別など、複数の保護された属性を含むデータセットに焦点を当てています。
既存の手法の多くは単一の保護された属性向けに設計されているため、バイアスの測定と軽減がより困難になります。
この文書には 2 つの貢献があります。第 1 に、新しい差別措置が導入されています。
これらの尺度は既存の尺度と併せて当社のフレームワーク内に分類されており、研究者や実務者が基礎となるデータセットの公平性を評価するための適切な尺度を選択できるようガイドします。
次に、既存のバイアス緩和手法である FairDo の新しいアプリケーションを紹介します。
この戦略は、データセットを変換することで、交差差別を含むあらゆる種類の差別を軽減できることを示します。
現実世界のデータセット (アダルト、バンク、コンパス) で実験を行うことにより、複数の保護された属性を持つデータセットのバイアスを解除できることを実証します。
さらに、変換された公平なデータセットは、これらのデータセットでトレーニングされた場合、元のデータセットと比較して、テストされた機械学習モデルのパフォーマンスを大幅に損なうことはありません。
私たちの実験では、差別は最大 83% 減少しました。
ほとんどの実験で、保護グループ間の差異は平均で少なくとも 7% から 27% 減少しました。
一般に、調査結果は、使用された緩和戦略が効果的であることを示しており、この研究は欧州連合の AI 法の施行に関する進行中の議論に貢献します。

要約(オリジナル)

Motivated by the recital (67) of the current corrigendum of the AI Act in the European Union, we propose and present measures and mitigation strategies for discrimination in tabular datasets. We specifically focus on datasets that contain multiple protected attributes, such as nationality, age, and sex. This makes measuring and mitigating bias more challenging, as many existing methods are designed for a single protected attribute. This paper comes with a twofold contribution: Firstly, new discrimination measures are introduced. These measures are categorized in our framework along with existing ones, guiding researchers and practitioners in choosing the right measure to assess the fairness of the underlying dataset. Secondly, a novel application of an existing bias mitigation method, FairDo, is presented. We show that this strategy can mitigate any type of discrimination, including intersectional discrimination, by transforming the dataset. By conducting experiments on real-world datasets (Adult, Bank, Compas), we demonstrate that de-biasing datasets with multiple protected attributes is achievable. Further, the transformed fair datasets do not compromise any of the tested machine learning models’ performances significantly when trained on these datasets compared to the original datasets. Discrimination was reduced by up to 83% in our experimentation. For most experiments, the disparity between protected groups was reduced by at least 7% and 27% on average. Generally, the findings show that the mitigation strategy used is effective, and this study contributes to the ongoing discussion on the implementation of the European Union’s AI Act.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google