Communication-Efficient Heterogeneous Federated Learning with Generalized Heavy-Ball Momentum

要約

フェデレーション ラーニング (FL) は、プライバシーが制約されたシナリオで分散データから学習するための最先端のアプローチです。
現在の文献が報告しているように、FL に関連する主な問題はシステムと統計の課題に関連しています。前者は通信帯域幅と周波数の低下を含むエッジ デバイスからの効率的な学習を要求し、後者は非 ID 性に対して堅牢なアルゴリズムを必要とします。
最先端のアプローチは、通信コストが増加しても収束を保証するか、極端に異質なローカル分散を処理するには十分に堅牢ではありません。
この研究では、ヘビーボールの運動量の新しい一般化を提案し、通信オーバーヘッドを導入せずにフロリダ州の統計的不均一性に効果的に対処する FedHBM を紹介します。
私たちは、一般的な FL ビジョンと NLP データセットに対して広範な実験を実施し、FedHBM アルゴリズムがより良いモデル品質とより高い収束速度をもたらすことを経験的に示しています。
特に病理学的非 IID シナリオにおける最先端の技術。
クロスサイロ設定向けに設計されている一方で、FedHBM が中程度から高度のクロスデバイス シナリオにどのように適用できるか、また適切なモデル初期化 (事前トレーニングなど) を迅速な高速化にどのように活用できるかを示します。
大規模な実世界のフェデレーテッド データセットでの拡張実験により、実世界の FL アプリケーションに対するアプローチの有効性がさらに裏付けられます。

要約(オリジナル)

Federated Learning (FL) is the state-of-the-art approach for learning from decentralized data in privacy-constrained scenarios. As the current literature reports, the main problems associated with FL refer to system and statistical challenges: the former ones demand for efficient learning from edge devices, including lowering communication bandwidth and frequency, while the latter require algorithms robust to non-iidness. State-of-art approaches either guarantee convergence at increased communication cost or are not sufficiently robust to handle extreme heterogeneous local distributions. In this work we propose a novel generalization of the heavy-ball momentum, and present FedHBM to effectively address statistical heterogeneity in FL without introducing any communication overhead. We conduct extensive experimentation on common FL vision and NLP datasets, showing that our FedHBM algorithm empirically yields better model quality and higher convergence speed w.r.t. the state-of-art, especially in pathological non-iid scenarios. While being designed for cross-silo settings, we show how FedHBM is applicable in moderate-to-high cross-device scenarios, and how good model initializations (e.g. pre-training) can be exploited for prompt acceleration. Extended experimentation on large-scale real-world federated datasets further corroborates the effectiveness of our approach for real-world FL applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google