FedFA: Federated Learning with Feature Anchors to Align Features and Classifiers for Heterogeneous Data

要約

タイトル：FedFA：異種データのための特徴アンカーによるフェデレーテッドラーニングでの特徴と分類器の整列

要約 ：
– フェデレーテッドラーニングは、データプライバシーを保持しながら複数のクライアントがモデルを共同で学習することを許容しますが、クライアントの異種データに対しては大幅なパフォーマンス低下が発生します。
– ローカルトレーニングの一般的な解決策は、重みの発散を正則化するための特定の補助損失を設計することや、特徴の不整合を解決することが挙げられます。
– しかし、このアプローチは、クラス分類子の発散と特徴マッピングの不整合性の悪循環を無視しているため、期待されるパフォーマンスには達しません。
– そこで、ローカルトレーニング中にクライアント間で特徴マッピングを整列させ、分類器をキャリブレーションさせるための、簡単で効果的なフレームワークであるFedFA（Feature Anchorsを用いたフェデレーテッドラーニング）を提案します。
– この変更により、クライアント間で同様の分類器と特徴一貫性と分類器類似性の良い循環をもたらすことが示されています。
– 幅広い実験により、ラベルと特徴分布の偏りがあるさまざまな画像分類データセットに対して、FedFAが最先端のフェデレーテッドラーニングアルゴリズムよりも明らかに優れていることが明らかになっています。

要約(オリジナル)

Federated learning allows multiple clients to collaboratively train a model without exchanging their data, thus preserving data privacy. Unfortunately, it suffers significant performance degradation under heterogeneous data at clients. Common solutions in local training involve designing a specific auxiliary loss to regularize weight divergence or feature inconsistency. However, we discover that these approaches fall short of the expected performance because they ignore the existence of a vicious cycle between classifier divergence and feature mapping inconsistency across clients, such that client models are updated in inconsistent feature space with diverged classifiers. We then propose a simple yet effective framework named Federated learning with Feature Anchors (FedFA) to align the feature mappings and calibrate classifier across clients during local training, which allows client models updating in a shared feature space with consistent classifiers. We demonstrate that this modification brings similar classifiers and a virtuous cycle between feature consistency and classifier similarity across clients. Extensive experiments show that FedFA significantly outperforms the state-of-the-art federated learning algorithms on various image classification datasets under label and feature distribution skews.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI