An Operator Splitting View of Federated Learning

要約

過去数年にわたって、フェデレートラーニング（$ \ texttt {fl} $）コミュニティは、新しい$ \ texttt {fl} $ algorithmsの拡散を目撃しました。
ただし、$ \ texttt {fl} $の理論の控えめになっていることは依然として断片化されており、これらのアルゴリズムの徹底的な正式な比較はとらえどころのないままです。
このギャップに動機付けられて、既存の$ \ texttt {fl} $アルゴリズムの多くは、オペレーターの分割観点から理解できることを示します。
この統一により、さまざまなアルゴリズムを簡単に比較し、以前の収束結果を改善し、新しいアルゴリズムバリアントを明らかにすることができます。
特に、私たちの分析は、$ \ texttt {fl} $アルゴリズムのステップサイズによって果たす重要な役割を明らかにしています。
統一はまた、通信オーバーヘッドを発生させることなく、$ \ texttt {fl} $アルゴリズムを加速するための合理化された経済的方法につながります。
凸モデルと非凸モデルの両方で数値実験を行い、調査結果を検証します。

要約(オリジナル)

Over the past few years, the federated learning ($\texttt{FL}$) community has witnessed a proliferation of new $\texttt{FL}$ algorithms. However, our understating of the theory of $\texttt{FL}$ is still fragmented, and a thorough, formal comparison of these algorithms remains elusive. Motivated by this gap, we show that many of the existing $\texttt{FL}$ algorithms can be understood from an operator splitting point of view. This unification allows us to compare different algorithms with ease, to refine previous convergence results and to uncover new algorithmic variants. In particular, our analysis reveals the vital role played by the step size in $\texttt{FL}$ algorithms. The unification also leads to a streamlined and economic way to accelerate $\texttt{FL}$ algorithms, without incurring any communication overhead. We perform numerical experiments on both convex and nonconvex models to validate our findings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google