Fairness Improvement with Multiple Protected Attributes: How Far Are We?

要約

既存の研究では、機械学習(ML)ソフトウェアの公平性を一度に単一の保護属性に関して改善することがほとんどであるが、多くのユーザが複数の保護属性を持っていることを考えると、これは非現実的である。本論文では、複数の保護属性に関する公平性の向上に関する広範な研究を実施し、11の最先端の公平性向上手法を網羅する。複数の保護属性を考慮する場合、異なるデータセット、メトリクス、MLモデルを用いて、これらの手法の有効性を分析する。その結果、単一の保護属性に関する公平性を改善すると、考慮されていない保護属性に関する公平性が大きく低下することが明らかになった。この低下は最大88.3%のシナリオで観察される（平均57.5%）。さらに驚くべきことに、単一の保護属性と複数の保護属性を考慮した場合の精度損失にはほとんど差が見られず、複数属性パラダイムでも精度を維持できることが示された。しかし、2つの保護属性を扱った場合のF1スコアへの影響は、単一属性の約2倍である。これは将来の公平性研究にとって重要な意味を持つ。現在文献で一般的なMLのパフォーマンス指標として精度のみを報告することは不十分である。

要約(オリジナル)

Existing research mostly improves the fairness of Machine Learning (ML) software regarding a single protected attribute at a time, but this is unrealistic given that many users have multiple protected attributes. This paper conducts an extensive study of fairness improvement regarding multiple protected attributes, covering 11 state-of-the-art fairness improvement methods. We analyze the effectiveness of these methods with different datasets, metrics, and ML models when considering multiple protected attributes. The results reveal that improving fairness for a single protected attribute can largely decrease fairness regarding unconsidered protected attributes. This decrease is observed in up to 88.3% of scenarios (57.5% on average). More surprisingly, we find little difference in accuracy loss when considering single and multiple protected attributes, indicating that accuracy can be maintained in the multiple-attribute paradigm. However, the effect on F1-score when handling two protected attributes is about twice that of a single attribute. This has important implications for future fairness research: reporting only accuracy as the ML performance metric, which is currently common in the literature, is inadequate.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL