An Operator Splitting View of Federated Learning

要約

ここ数年、フェデレーテッド ラーニング ($\texttt{FL}$) コミュニティでは、新しい $\texttt{FL}$ アルゴリズムが急増しています。
しかし、$\texttt{FL}$ の理論の理解はまだ断片的であり、これらのアルゴリズムの完全かつ正式な比較は依然として困難です。
このギャップを動機として、既存の $\texttt{FL}$ アルゴリズムの多くが演算子分割の観点から理解できることを示します。
この統合により、さまざまなアルゴリズムを簡単に比較し、以前の収束結果を改良し、新しいアルゴリズムのバリエーションを発見することができます。
特に、私たちの分析では、$\texttt{FL}$ アルゴリズムにおいてステップ サイズが果たす重要な役割が明らかになりました。
この統合により、通信オーバーヘッドを発生させずに $\texttt{FL}$ アルゴリズムを高速化する合理的かつ経済的な方法にもつながります。
結果を検証するために、凸モデルと非凸モデルの両方で数値実験を実行します。

要約(オリジナル)

Over the past few years, the federated learning ($\texttt{FL}$) community has witnessed a proliferation of new $\texttt{FL}$ algorithms. However, our understating of the theory of $\texttt{FL}$ is still fragmented, and a thorough, formal comparison of these algorithms remains elusive. Motivated by this gap, we show that many of the existing $\texttt{FL}$ algorithms can be understood from an operator splitting point of view. This unification allows us to compare different algorithms with ease, to refine previous convergence results and to uncover new algorithmic variants. In particular, our analysis reveals the vital role played by the step size in $\texttt{FL}$ algorithms. The unification also leads to a streamlined and economic way to accelerate $\texttt{FL}$ algorithms, without incurring any communication overhead. We perform numerical experiments on both convex and nonconvex models to validate our findings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google