Fairness-enhancing mixed effects deep learning improves fairness on in- and out-of-distribution clustered (non-iid) data

要約

従来の深層学習 (DL) モデルには、普遍的な 2 つの制限があります。
まず、トレーニング サンプルが独立しており、同一に分布している (i.i.d) と仮定します。この仮定は、サンプルが反復測定 (たとえば、縦断的研究の同じ参加者または同じシーケンサーからのセルなど) によって追加の相関関係を持つ現実世界のデータセットではしばしば違反されます。
）。
これにより、パフォーマンスの低下、一般化の制限、および共変量の交絡が生じ、タイプ I およびタイプ II のエラーが誘発されます。
第 2 に、DL モデルは通常全体的な精度を優先し、過小評価された部分母集団のパフォーマンスを犠牲にして大多数の精度を優先するため、不公平で偏ったモデルが生成されます。
これは、特にローンの承認や医療に関する決定に影響を与えるモデルにおいて、修正するために非常に重要です。
これらの問題に対処するために、Fair Mixed Effects Deep Learning (Fair MEDL) フレームワークを提案します。
このフレームワークは、1) 不変固定効果 (FE) を学習するためのクラスター敵対者、2) RE 用のベイジアン ニューラル ネットワーク、3) FE とクラスター固有の変量効果 (RE) を組み合わせた混合関数を通じて、クラスター不変固定効果 (FE) とクラスター固有の変量効果 (RE) を定量化します。
最終予想についてはRE。
公平性は、敵対的バイアス除去ネットワークによって導入されたアーキテクチャと損失関数の変更によって強化されます。
私たちは、分類タスクと回帰タスクの両方について、均等化オッズ、人口統計的パリティ、反事実的公平性という 3 つの指標にわたる公平性の向上を正式に定義し、実証します。
私たちの方法はまた、交絡した共変量を特定して重み付けを解除し、タイプ I および II のエラーを軽減します。
このフレームワークは、金融とヘルスケアを含む 2 つの業界にわたる 3 つのデータセットにわたって包括的に評価されています。
Fair MEDL フレームワークは、堅牢な予測パフォーマンスを維持しながら、公平性を年齢で 86.4%、人種で 64.9%、性別で 57.8%、婚姻状況で 36.2% 向上させます。

要約(オリジナル)

Traditional deep learning (DL) models have two ubiquitous limitations. First, they assume training samples are independent and identically distributed (i.i.d), an assumption often violated in real-world datasets where samples have additional correlation due to repeat measurements (e.g., on the same participants in a longitudinal study or cells from the same sequencer). This leads to performance degradation, limited generalization, and covariate confounding, which induces Type I and Type II errors. Second, DL models typically prioritize overall accuracy, favoring accuracy on the majority while sacrificing performance for underrepresented subpopulations, leading to unfair, biased models. This is critical to remediate, particularly in models which influence decisions regarding loan approvals and healthcare. To address these issues, we propose the Fair Mixed Effects Deep Learning (Fair MEDL) framework. This framework quantifies cluster-invariant fixed effects (FE) and cluster-specific random effects (RE) through: 1) a cluster adversary for learning invariant FE, 2) a Bayesian neural network for RE, and 3) a mixing function combining FE and RE for final predictions. Fairness is enhanced through architectural and loss function changes introduced by an adversarial debiasing network. We formally define and demonstrate improved fairness across three metrics: equalized odds, demographic parity, and counterfactual fairness, for both classification and regression tasks. Our method also identifies and de-weights confounded covariates, mitigating Type I and II errors. The framework is comprehensively evaluated across three datasets spanning two industries, including finance and healthcare. The Fair MEDL framework improves fairness by 86.4% for Age, 64.9% for Race, 57.8% for Sex, and 36.2% for Marital status, while maintaining robust predictive performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google