DualFL: A Duality-based Federated Learning Algorithm with Communication Acceleration in the General Convex Regime

要約

我々は、連合学習における分散最適化問題を解決するための、DualFL (Dualized Federated Learning) と呼ばれる新しい学習アルゴリズムを提案します。
私たちのアプローチは、フェデレーテッド ラーニングの問題の特定の二重定式化に基づいています。
DualFL は、問題の滑らかさと強い凸性をさまざまな設定で通信の高速化を実現します。
さらに、理論的には不正確なローカル ソルバーの使用を保証し、不正確なローカル ソリューションであっても最適な通信の複雑さを維持します。
DualFL は、コスト関数が滑らかでないか、凸が強くない場合でも、通信の高速化を実現する初の連合学習アルゴリズムです。
数値結果は、DualFL の実際のパフォーマンスが最先端の連合学習アルゴリズムのパフォーマンスに匹敵し、ハイパーパラメーターの調整に関して堅牢であることを示しています。

要約(オリジナル)

We propose a novel training algorithm called DualFL (Dualized Federated Learning), for solving a distributed optimization problem in federated learning. Our approach is based on a specific dual formulation of the federated learning problem. DualFL achieves communication acceleration under various settings on smoothness and strong convexity of the problem. Moreover, it theoretically guarantees the use of inexact local solvers, preserving its optimal communication complexity even with inexact local solutions. DualFL is the first federated learning algorithm that achieves communication acceleration, even when the cost function is either nonsmooth or non-strongly convex. Numerical results demonstrate that the practical performance of DualFL is comparable to those of state-of-the-art federated learning algorithms, and it is robust with respect to hyperparameter tuning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google