Tackling the Non-IID Issue in Heterogeneous Federated Learning by Gradient Harmonization

要約

フェデレーテッド ラーニング (FL) は、分散型クライアントからグローバル モデルを共同でトレーニングするためのプライバシー保護パラダイムです。
ただし、FL のパフォーマンスは、非独立かつ同一分散 (非 IID) データとデバイスの異質性によって妨げられます。
この研究では、サーバー側での勾配の競合というレンズを通して、この重要な課題を再検討します。
具体的には、まず複数のクライアント間の勾配競合現象を調査し、異質性が強いほど勾配競合がより深刻になることを明らかにします。
この問題に取り組むために、私たちは勾配調和を通じて局所的なドリフトを軽減するシンプルかつ効果的な方法である FedGH を提案します。
この手法は、競合するクライアント ペア内で一方の勾配ベクトルをもう一方の勾配ベクトルの直交平面に投影します。
広範な実験により、FedGH がさまざまなベンチマークおよび非 IID シナリオにわたって複数の最先端の FL ベースラインを一貫して強化することが実証されています。
特に、FedGH は異質性が強いシナリオでより大幅な改善をもたらします。
プラグアンドプレイ モジュールとして、FedGH はハイパーパラメータ調整を必要とせずに、あらゆる FL フレームワークにシームレスに統合できます。

要約(オリジナル)

Federated learning (FL) is a privacy-preserving paradigm for collaboratively training a global model from decentralized clients. However, the performance of FL is hindered by non-independent and identically distributed (non-IID) data and device heterogeneity. In this work, we revisit this key challenge through the lens of gradient conflicts on the server side. Specifically, we first investigate the gradient conflict phenomenon among multiple clients and reveal that stronger heterogeneity leads to more severe gradient conflicts. To tackle this issue, we propose FedGH, a simple yet effective method that mitigates local drifts through Gradient Harmonization. This technique projects one gradient vector onto the orthogonal plane of the other within conflicting client pairs. Extensive experiments demonstrate that FedGH consistently enhances multiple state-of-the-art FL baselines across diverse benchmarks and non-IID scenarios. Notably, FedGH yields more significant improvements in scenarios with stronger heterogeneity. As a plug-and-play module, FedGH can be seamlessly integrated into any FL framework without requiring hyperparameter tuning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google