Weight Perturbation Can Help Fairness under Distribution Shift

要約

機械学習における公平性は，近年ますます注目されている．分布内データに対するアルゴリズムの公平性を向上させる公平性手法は、分布シフトの下ではうまく機能しないことがある。本論文では、まず、分布シフト、データ摂動、重み摂動の間に内在する関係を理論的に示す。その後、ターゲットデータセットの公正さ（すなわち、低い人口パリティ）を保証するための十分条件を分析する。これには、ソースデータセットの公正さと、各センシティブ属性グループに対するソースデータセットとターゲットデータセット間の低い予測差も含まれる。これらの十分条件に動機づけられ、我々は、各高感度属性グループに対する重み摂動ボール内の最悪のケースを考慮することにより、頑健な公平性正則化（RFR）を提案する。この方法によって、最大化問題は、モデルパラメータの更新ごとに2つの前方伝播と2つの後方伝播として単純化することができる。我々は、様々なデータセットにわたる合成および実際の分布シフトに対して、提案するRFRアルゴリズムの有効性を評価する。実験結果は、RFRがいくつかのベースラインと比較して、より優れた公平性と精度のトレードオフ性能を達成することを示す。

要約(オリジナル)

Fairness in machine learning has attracted increasing attention in recent years. The fairness methods improving algorithmic fairness for in-distribution data may not perform well under distribution shift. In this paper, we first theoretically demonstrate the inherent connection between distribution shift, data perturbation, and weight perturbation. Subsequently, we analyze the sufficient conditions to guarantee fairness (i.e., low demographic parity) for the target dataset, including fairness for the source dataset, and low prediction difference between the source and target dataset for each sensitive attribute group. Motivated by these sufficient conditions, we propose robust fairness regularization (RFR) by considering the worst case within the weight perturbation ball for each sensitive attribute group. In this way, the maximization problem can be simplified as two forward and two backward propagations for each update of model parameters. We evaluate the effectiveness of our proposed RFR algorithm on synthetic and real distribution shifts across various datasets. Experimental results demonstrate that RFR achieves better fairness-accuracy trade-off performance compared with several baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL