Fairness Overfitting in Machine Learning: An Information-Theoretic Perspective

要約

機械学習モデルを使用したハイステークアプリケーションの公平性を促進する際の大幅な進展にもかかわらず、既存の方法は、正統派やその他の介入などのトレーニングプロセスを変更することがよくありますが、トレーニング中に達成された公平性が未見えのデータに一般化されるという正式な保証がありません。
予測のパフォーマンスに関する過剰適合は広範囲に研究されていますが、公平性の損失の点で過剰適合はあまり注目されていません。
このペーパーでは、情報理論レンズを介して公平性一般化エラーを分析するための理論的枠組みを提案します。
私たちの斬新な境界技術は、Efron-Steinの不平等に基づいています。これにより、相互情報（MI）と条件付き相互情報（CMI）の両方で、理論的公平性の一般化境界を導き出すことができます。
私たちの経験的結果は、多様な公平性に対応する学習アルゴリズム全体で、これらの境界の緊密性と実用的な関連性を検証します。
私たちのフレームワークは、公平性の一般化を改善するアルゴリズムの設計を導くための貴重な洞察を提供します。

要約(オリジナル)

Despite substantial progress in promoting fairness in high-stake applications using machine learning models, existing methods often modify the training process, such as through regularizers or other interventions, but lack formal guarantees that fairness achieved during training will generalize to unseen data. Although overfitting with respect to prediction performance has been extensively studied, overfitting in terms of fairness loss has received far less attention. This paper proposes a theoretical framework for analyzing fairness generalization error through an information-theoretic lens. Our novel bounding technique is based on Efron-Stein inequality, which allows us to derive tight information-theoretic fairness generalization bounds with both Mutual Information (MI) and Conditional Mutual Information (CMI). Our empirical results validate the tightness and practical relevance of these bounds across diverse fairness-aware learning algorithms. Our framework offers valuable insights to guide the design of algorithms improving fairness generalization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google