Asynchronous Federated Stochastic Optimization with Exact Averaging for Heterogeneous Local Objectives

要約

フェデレーテッド ラーニング (FL) は、中央サーバーの調整の下、複数の場所 (「クライアント」) に保持されたデータを使用してモデルを安全にトレーニングするために最近提案されました。
FL アルゴリズムのパフォーマンスを妨げる 2 つの大きな課題は、クライアントの分散によって引き起こされる長いトレーニング時間と、非 IID ローカル分布によって引き起こされるトレーニング精度の低下 (「クライアント ドリフト」) です。
この研究では、クライアント ドリフトに強く、非同期通信を利用してストラグラーが存在する場合の収束を高速化する新しい確率的 (サブ) 勾配アルゴリズムである AREA を提案および分析します。
さらに、AREA は、私たちの知る限り、任意の長い遅延の下で収束することが保証され、使用される確率的 (部分) 勾配の分散のみに依存するサイズの誤差近傍に収束する最初の方法です。
遅延適応ステップサイズを使用せずに、ローカル データセット間の異質性とクライアント遅延の長さの両方に依存しません。
私たちの数値結果は、私たちの理論分析を裏付けており、ローカルデータが高度に非iidである場合、AREAが最先端の方法よりも優れていることを示唆しています。

要約(オリジナル)

Federated learning (FL) was recently proposed to securely train models with data held over multiple locations (‘clients’) under the coordination of a central server. Two major challenges hindering the performance of FL algorithms are long training times caused by straggling clients and a decrease in training accuracy induced by non-iid local distributions (‘client drift’). In this work we propose and analyze AREA, a new stochastic (sub)gradient algorithm that is robust to client drift and utilizes asynchronous communication to speed up convergence in the presence of stragglers. Moreover, AREA is, to the best of our knowledge, the first method that is both guaranteed to converge under arbitrarily long delays, and converges to an error neighborhood whose size depends only on the variance of the stochastic (sub)gradients used and thus is independent of both the heterogeneity between the local datasets and the length of client delays, without the use of delay-adaptive stepsizes. Our numerical results confirm our theoretical analysis and suggest that AREA outperforms state-of-the-art methods when local data are highly non-iid.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google