Stabilized Proximal-Point Methods for Federated Optimization

要約

効率的な最適化アルゴリズムを開発するには、通信の制約を考慮することが重要です。これは、最新のフェデレーテッド ラーニング設定における重大な課題です。
非高速化アルゴリズムの中で最もよく知られている通信の複雑さは、反復ごとに局所的な部分問題を解決し、個々の関数間の二次類似性を利用できる分散近接点アルゴリズムである DANE によって実現されます。
ただし、このような通信効率を達成するには、局所部分問題を解決するための精度要件がわずかに最適ではありません。
ハイブリッド投影近接点法に触発されて、この研究では、i) 新しい分散アルゴリズム S-DANE を提案します。
この方法は、DANE と比較して、近接ステップでより安定した近接中心を採用し、その決定論的な通信の複雑さに一致します。
さらに、部分問題の精度条件が緩和され、局所的な計算効率が向上します。
さらに、部分的なクライアントの参加と任意の確率的ローカル ソルバーをサポートしており、実際にはより魅力的です。
さらに、ii) S-DANE を加速し、結果として得られるアルゴリズムが、S-DANE と同じ改善されたローカル計算効率を備えた、分散凸最適化のための既存のすべての方法の中で最もよく知られている通信の複雑さを達成することを示します。

要約(オリジナル)

In developing efficient optimization algorithms, it is crucial to account for communication constraints — a significant challenge in modern federated learning settings. The best-known communication complexity among non-accelerated algorithms is achieved by DANE, a distributed proximal-point algorithm that solves local subproblems in each iteration and that can exploit second-order similarity among individual functions. However, to achieve such communication efficiency, the accuracy requirement for solving the local subproblems is slightly sub-optimal. Inspired by the hybrid projection-proximal point method, in this work, we i) propose a novel distributed algorithm S-DANE. This method adopts a more stabilized prox-center in the proximal step compared with DANE, and matches its deterministic communication complexity. Moreover, the accuracy condition of the subproblem is milder, leading to enhanced local computation efficiency. Furthermore, it supports partial client participation and arbitrary stochastic local solvers, making it more attractive in practice. We further ii) accelerate S-DANE, and show that the resulting algorithm achieves the best-known communication complexity among all existing methods for distributed convex optimization, with the same improved local computation efficiency as S-DANE.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google