Utility-Fairness Trade-Offs and How to Find Them

要約

人口統計上の公平性を考慮して分類システムを構築する場合、満たすべき 2 つの目的があります。1) 特定のタスクに対する有用性を最大化すること、および 2) 社会全体に対する公平性を確保することです。
既知の人口統計的属性。
これらの目的は競合することが多いため、両方を最適化すると実用性と公平性の間でトレードオフが生じる可能性があります。
既存の作品はトレードオフを認識し、その限界を研究していますが、次の 2 つの質問は未解決のままです: 1) 実用性と公平性の間の最適なトレードオフは何ですか?
2) 望ましい予測タスクと関心のある人口統計的属性のデータからこれらのトレードオフを数値的に定量化するにはどうすればよいでしょうか?
この文書ではこれらの質問に対処します。
データスペースとラベルスペースのトレードオフという 2 つのユーティリティと公平性のトレードオフを導入します。
トレードオフにより、公益事業と公平性の面内の 3 つの領域が明らかになり、何が完全または部分的に可能で、何が不可能であるかが明確になります。
我々は、データサンプルから特定の予測タスクとグループ公平性定義のトレードオフを数値的に定量化する方法であるU-FaTEを提案します。
トレードオフに基づいて、表現を評価するための新しいスキームを導入します。
公平な表現の学習方法と 1,000 を超える事前トレーニング済みモデルからの表現を広範に評価した結果、現在のアプローチのほとんどは、複数のデータセットと予測タスクにわたって推定され達成可能な公平性と効用のトレードオフからはほど遠いことが明らかになりました。

要約(オリジナル)

When building classification systems with demographic fairness considerations, there are two objectives to satisfy: 1) maximizing utility for the specific task and 2) ensuring fairness w.r.t. a known demographic attribute. These objectives often compete, so optimizing both can lead to a trade-off between utility and fairness. While existing works acknowledge the trade-offs and study their limits, two questions remain unanswered: 1) What are the optimal trade-offs between utility and fairness? and 2) How can we numerically quantify these trade-offs from data for a desired prediction task and demographic attribute of interest? This paper addresses these questions. We introduce two utility-fairness trade-offs: the Data-Space and Label-Space Trade-off. The trade-offs reveal three regions within the utility-fairness plane, delineating what is fully and partially possible and impossible. We propose U-FaTE, a method to numerically quantify the trade-offs for a given prediction task and group fairness definition from data samples. Based on the trade-offs, we introduce a new scheme for evaluating representations. An extensive evaluation of fair representation learning methods and representations from over 1000 pre-trained models revealed that most current approaches are far from the estimated and achievable fairness-utility trade-offs across multiple datasets and prediction tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google