Fairness-enhancing mixed effects deep learning improves fairness on in- and out-of-distribution clustered (non-iid) data

要約

従来の深層学習 (DL) モデルは 2 つの重要な課題に直面しています。
まず、トレーニング サンプルが独立しており、同一に分布していると仮定します。この仮定は、サンプルが共有測定値 (参加者やセルなど) によってグループ化されている現実世界のデータセットではしばしば違反されます。
これにより、パフォーマンスの低下、一般化の制限、および混乱を招く問題が発生し、タイプ 1 およびタイプ 2 のエラーが発生します。
第二に、DL モデルは一般に全体的な精度を優先し、過小評価されたグループ間の公平性を見落とすことが多く、ローンの承認や医療に関する決定などの重要な分野で偏った結果をもたらします。
これらの問題に対処するために、Fair Mixed Effects Deep Learning (Fair MEDL) フレームワークを導入します。
Fair MEDL は、1) 不変固定効果 (FE) を学習するためのクラスター敵対者、2) RE 用のベイジアン ニューラル ネットワーク、3) FE と RE を組み合わせた混合関数を通じて、クラスター不変固定効果 (FE) とクラスター固有の変量効果 (RE) を定量化します。
最終予想用に。
さらに、均等化されたオッズ、人口統計的均等性、反事実的公平性という 3 つの主要な指標にわたる公平性を促進するために、敵対的バイアス軽減を組み込んでいます。
私たちの方法はまた、交絡するプローブを特定して重み付けを解除し、解釈可能性を向上させます。
金融とヘルスケアの 3 つのデータセットに基づいて評価された Fair MEDL は、堅牢な予測パフォーマンスを維持しながら、年齢については最大 73%、人種については 47%、性別については 83%、婚姻状況については 26% まで公平性を向上させます。
私たちの実装は GitHub で公開されています。

要約(オリジナル)

Traditional deep learning (DL) models face two key challenges. First, they assume training samples are independent and identically distributed, an assumption often violated in real-world datasets where samples are grouped by shared measurements (e.g., participants or cells). This leads to performance degradation, limited generalization, and confounding issues, causing Type 1 and Type 2 errors. Second, DL models typically prioritize overall accuracy, often overlooking fairness across underrepresented groups, leading to biased outcomes in critical areas such as loan approvals and healthcare decisions. To address these issues, we introduce the Fair Mixed Effects Deep Learning (Fair MEDL) framework. Fair MEDL quantifies cluster-invariant fixed effects (FE) and cluster-specific random effects (RE) through 1) a cluster adversary for learning invariant FE, 2) a Bayesian neural network for RE, and 3) a mixing function combining FE and RE for final predictions. Additionally, we incorporate adversarial debiasing to promote fairness across three key metrics: Equalized Odds, Demographic Parity, and Counterfactual Fairness. Our method also identifies and de-weights confounding probes, improving interpretability. Evaluated on three datasets from finance and healthcare, Fair MEDL improves fairness by up to 73% for age, 47% for race, 83% for sex, and 26% for marital status, while maintaining robust predictive performance. Our implementation is publicly available on GitHub.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google