FedExP: Speeding Up Federated Averaging via Extrapolation

要約

Federated Averaging (FedAvg) は、そのシンプルな実装、ステートレスな性質、安全なアグリゲーションと組み合わせたプライバシー保証により、Federated Learning (FL) 最適化のための最も人気のあるアルゴリズムであり続けています。最近の研究では、クライアントの更新を擬似勾配として扱い、サーバーのステップサイズを使用することによって、FedAvgのバニラ平均を一般化した勾配降下ステップに一般化しようと試みています。サーバーステップサイズの使用は理論的には性能向上をもたらすことが示されているが、サーバーステップサイズの実用的な利点はほとんどの既存作品では見られない。本研究では、FLプロセスを通じて動的に変化する擬似勾配に基づいてFLにおけるサーバーステップサイズを適応的に決定する手法であるFedExPを紹介する。まず、オーバーパラメータ化された凸領域について検討し、FedAvgとProjection Onto Convex Sets（POCS）アルゴリズムとの興味深い類似性を明らかにする。次に、FedExPがPOCSを高速化するために使用される外挿メカニズムの新しい拡張としてどのように動機づけられるかを示します。また、この後の理論分析では、パラメータ不足で非凸の設定におけるFedExPの意味についても議論します。実験結果は、FedExPが現実的なFLデータセットにおいて、FedAvgや競合するベースラインよりも一貫して速く収束することを示しています。

要約(オリジナル)

Federated Averaging (FedAvg) remains the most popular algorithm for Federated Learning (FL) optimization due to its simple implementation, stateless nature, and privacy guarantees combined with secure aggregation. Recent work has sought to generalize the vanilla averaging in FedAvg to a generalized gradient descent step by treating client updates as pseudo-gradients and using a server step size. While the use of a server step size has been shown to provide performance improvement theoretically, the practical benefit of the server step size has not been seen in most existing works. In this work, we present FedExP, a method to adaptively determine the server step size in FL based on dynamically varying pseudo-gradients throughout the FL process. We begin by considering the overparameterized convex regime, where we reveal an interesting similarity between FedAvg and the Projection Onto Convex Sets (POCS) algorithm. We then show how FedExP can be motivated as a novel extension to the extrapolation mechanism that is used to speed up POCS. Our theoretical analysis later also discusses the implications of FedExP in underparameterized and non-convex settings. Experimental results show that FedExP consistently converges faster than FedAvg and competing baselines on a range of realistic FL datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL