DualFL: A Duality-based Federated Learning Algorithm with Communication Acceleration in the General Convex Regime

要約

我々は、フェデレーテッド ラーニングにおける分散最適化問題を解決するための、DualFL (Dualized Federated Learning) と呼ばれる新しいトレーニング アルゴリズムを提案します。
DualFL は、非常に一般的な凸コスト関数の通信高速化を実現し、それにより、滑らかではない、または強く凸ではないコスト関数に関するフェデレーテッド ラーニングにおける未解決の理論的問題の解決策を提供します。
DualFL の全体的な計算効率を確保するために、DualFL のローカル反復の複雑さの詳細な分析を提供します。
さらに、双対定式化に基づいたフェデレーテッド ラーニングの収束分析のためのまったく新しいアプローチを導入します。
この新しい手法により、フェデレーテッド ラーニング アルゴリズムの収束に関する既存の文献で使用されている複雑な計算とは対照的な、簡潔で洗練された分析が可能になります。

要約(オリジナル)

We propose a new training algorithm, named DualFL (Dualized Federated Learning), for solving distributed optimization problems in federated learning. DualFL achieves communication acceleration for very general convex cost functions, thereby providing a solution to an open theoretical problem in federated learning concerning cost functions that may not be smooth nor strongly convex. We provide a detailed analysis for the local iteration complexity of DualFL to ensure the overall computational efficiency of DualFL. Furthermore, we introduce a completely new approach for the convergence analysis of federated learning based on a dual formulation. This new technique enables concise and elegant analysis, which contrasts the complex calculations used in existing literature on convergence of federated learning algorithms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google