Mitigating Group Bias in Federated Learning for Heterogeneous Devices

要約

Federated Learning は、分散エッジ アプリケーションにおけるプライバシー保護モデル トレーニング アプローチとして浮上しています。
そのため、ほとんどのエッジ展開は本質的に異種混合です。つまり、そのセンシング機能と環境は展開ごとに異なります。
このエッジの異質性は、クライアント間でローカル データの独立性と同一分布 (IID) 特性を侵害し、偏ったグローバル モデル、つまり特定のコミュニティやグループに対する不公平な意思決定や差別に寄与するモデルを生成します。
既存のバイアス緩和手法は、特徴の異質性によるドメインの変動を考慮せず、非 IID データのラベルの異質性から生成されるバイアスのみに焦点を当てており、グローバルなグループの公平性特性には対処していません。
私たちの研究は、プライバシーを保護し、リソース利用のオーバーヘッドを発生させずに、グループの偏りを最小限に抑える、グループ公平な FL フレームワークを提案しています。
私たちの主なアイデアは、平均条件付き確率を活用して、異種トレーニング データから導出されたクロスドメイン グループ \textit{重要度重み} を計算し、修正された乗法重み更新方法を使用して最もパフォーマンスの悪いグループのパフォーマンスを最適化することです。
さらに、しきい値設定メカニズムを通じてバイアスの低減とグループのパフォーマンス低下の間のバランスを確実に取りながら、最もパフォーマンスの悪いグループと最もパフォーマンスの高いグループの差を最小限に抑えるための正則化手法を提案します。
人間の感情認識と画像分類のベンチマークの評価は、現実世界の異質な環境におけるフレームワークの公正な意思決定を評価します。

要約(オリジナル)

Federated Learning is emerging as a privacy-preserving model training approach in distributed edge applications. As such, most edge deployments are heterogeneous in nature i.e., their sensing capabilities and environments vary across deployments. This edge heterogeneity violates the independence and identical distribution (IID) property of local data across clients and produces biased global models i.e. models that contribute to unfair decision-making and discrimination against a particular community or a group. Existing bias mitigation techniques only focus on bias generated from label heterogeneity in non-IID data without accounting for domain variations due to feature heterogeneity and do not address global group-fairness property. Our work proposes a group-fair FL framework that minimizes group-bias while preserving privacy and without resource utilization overhead. Our main idea is to leverage average conditional probabilities to compute a cross-domain group \textit{importance weights} derived from heterogeneous training data to optimize the performance of the worst-performing group using a modified multiplicative weights update method. Additionally, we propose regularization techniques to minimize the difference between the worst and best-performing groups while making sure through our thresholding mechanism to strike a balance between bias reduction and group performance degradation. Our evaluation of human emotion recognition and image classification benchmarks assesses the fair decision-making of our framework in real-world heterogeneous settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google