FedPCA: Noise-Robust Fair Federated Learning via Performance-Capacity Analysis

要約

一般的なデータとレアの両方のデータを効果的に処理するモデルをトレーニングし、パフォーマンスの公平性を達成することは、フェデレートラーニング（FL）において重要です。
既存のFAIR FLメソッドは有効性を示していますが、それらは誤ったラベルデータに対して脆弱なままです。
したがって、FAIR FLで堅牢性を確保することが不可欠です。
ただし、公平性と堅牢性は本質的に競合しており、これにより、堅牢な戦略が公平性を妨げます。
このホワイトペーパーでは、この競争は、まれで誤ったラベル付けされたデータクライアントが示す損失パターンの均一性に起因し、既存の損失ベースの公正で堅牢なFLメソッドがこれらの2つの異なるクライアントタイプを効果的に区別および処理することを防ぎます。
これに対処するために、各クライアントのモデルパフォーマンスと、損失と新たに導入された機能分散スコアで測定されたデータセットを処理する能力を共同で考慮するパフォーマンス容量分析を提案します。
これにより、誤解を招くクライアントは、希少なデータクライアントを維持しながら、容量に比べて大幅に逸脱したパフォーマンスによって特定されることができます。
これに基づいて、FEDPCAを紹介します。FEDPCAは、公平性を堅牢に達成するFLメソッドです。
FEDPCAは、最初に、損失分散ペアに関するガウス混合モデルを介して誤解を招くクライアントを識別し、次にクライアントの重みを調整し、信頼できるデータを選択的に使用して、グローバルな集約とローカルトレーニングに公平性と堅牢性戦略を適用します。
3つのデータセットでの広範な実験は、この複雑な課題に取り組む際のFEDPCAの有効性を示しています。
コードは、受け入れられると公開されます。

要約(オリジナル)

Training a model that effectively handles both common and rare data-i.e., achieving performance fairness-is crucial in federated learning (FL). While existing fair FL methods have shown effectiveness, they remain vulnerable to mislabeled data. Ensuring robustness in fair FL is therefore essential. However, fairness and robustness inherently compete, which causes robust strategies to hinder fairness. In this paper, we attribute this competition to the homogeneity in loss patterns exhibited by rare and mislabeled data clients, preventing existing loss-based fair and robust FL methods from effectively distinguishing and handling these two distinct client types. To address this, we propose performance-capacity analysis, which jointly considers model performance on each client and its capacity to handle the dataset, measured by loss and a newly introduced feature dispersion score. This allows mislabeled clients to be identified by their significantly deviated performance relative to capacity while preserving rare data clients. Building on this, we introduce FedPCA, an FL method that robustly achieves fairness. FedPCA first identifies mislabeled clients via a Gaussian Mixture Model on loss-dispersion pairs, then applies fairness and robustness strategies in global aggregation and local training by adjusting client weights and selectively using reliable data. Extensive experiments on three datasets demonstrate FedPCA’s effectiveness in tackling this complex challenge. Code will be publicly available upon acceptance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google