Communication-Efficient Adaptive Federated Learning

要約

タイトル：コミュニケーション効率の高い適応型フェデレーテッド学習
要約：
-フェデレーテッド学習は、クライアントが自分自身のローカライズされたデータを共有することなくモデルを共同でトレーニングする機械学習トレーニングパラダイムです。
-しかし、実践におけるフェデレーテッド学習の実装は、サーバー-クライアントの同期のための繰り返し的な通信オーバーヘッドや、SGDベースのモデル更新による適応性の欠如など、数多くの課題に直面しています。
-勾配圧縮や量子化による通信コストの削減などのさまざまな方法や、FedAdamなどの適応型最適化手法のフェデレーテッドバージョンの提案があるにもかかわらず、現在のフェデレーテッド学習フレームワークは、上記の課題を一度に解決することができません。
-本論文では、理論的な収束保証を持つ新しいコミュニケーション効率の高い適応型フェデレーテッド学習手法（FedCAMS）を提案します。
-我々は、非凸確率的最適化設定において、提案されたFedCAMSが、その非圧縮バージョンと同じ収束速度$O(\frac{1}{\sqrt{TKm}})$を達成することを示します。
-さまざまなベンチマークでの豊富な実験により、私たちの理論的分析が正しいことが確認されます。

要約(オリジナル)

Federated learning is a machine learning training paradigm that enables clients to jointly train models without sharing their own localized data. However, the implementation of federated learning in practice still faces numerous challenges, such as the large communication overhead due to the repetitive server-client synchronization and the lack of adaptivity by SGD-based model updates. Despite that various methods have been proposed for reducing the communication cost by gradient compression or quantization, and the federated versions of adaptive optimizers such as FedAdam are proposed to add more adaptivity, the current federated learning framework still cannot solve the aforementioned challenges all at once. In this paper, we propose a novel communication-efficient adaptive federated learning method (FedCAMS) with theoretical convergence guarantees. We show that in the nonconvex stochastic optimization setting, our proposed FedCAMS achieves the same convergence rate of $O(\frac{1}{\sqrt{TKm}})$ as its non-compressed counterparts. Extensive experiments on various benchmarks verify our theoretical analysis.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI