Provable Reduction in Communication Rounds for Non-Smooth Convex Federated Learning

要約

複数のローカルステップは、コミュニケーション効率の良いフェデレーション学習の鍵です。
ただし、データの不均一性に縛られた仮定がないこのようなアルゴリズムの理論的保証は、一般的な非滑らかな凸の問題に欠けています。
投影効率の高い最適化方法を活用すると、複数のローカルステップから証明可能な改善を伴う連邦学習アルゴリズムであるFEDMLSを提案します。
FEDMLSは、$ \ mathcal {o}（1/\ epsilon）$通信ラウンドで$ \ epsilon $ -Suboptimalソリューションを獲得します。

要約(オリジナル)

Multiple local steps are key to communication-efficient federated learning. However, theoretical guarantees for such algorithms, without data heterogeneity-bounding assumptions, have been lacking in general non-smooth convex problems. Leveraging projection-efficient optimization methods, we propose FedMLS, a federated learning algorithm with provable improvements from multiple local steps. FedMLS attains an $\epsilon$-suboptimal solution in $\mathcal{O}(1/\epsilon)$ communication rounds, requiring a total of $\mathcal{O}(1/\epsilon^2)$ stochastic subgradient oracle calls.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google