Faster Adaptive Momentum-Based Federated Methods for Distributed Composition Optimization

要約

タイトル：分散合成最適化のためのより速い適応型モメンタムベースのフェデレーテッド方法

要約：
– Federated Learning は機械学習における人気のある分散学習パラダイムである。
– 一方、合成最適化は効果的な階層的学習モデルであり、メタ学習や頑健学習など多くの機械学習の応用に登場する。
– 最近では、フェデレーテッド合成最適化アルゴリズムがいくつか提案されているが、サンプル数と通信の複雑さが高いという問題がある。
– 論文では、非凸分散合成問題を解決するためのより速いフェデレーテッド合成最適化アルゴリズム（MFCGDとAdaMFCGD）を提案している。
– AdaMFCGDは、統一された適応型行列を使用して、様々な適応型学習率を柔軟に組み込むことができる。
– ノンi.i.d.設定下において、アルゴリズムの理論的な解析を提供し、既存のフェデレーテッド合成アルゴリズムよりも低いサンプル数と通信の複雑さを同時に実現することを証明した。
– 具体的には、$\epsilon$-stationary solutionを見つけるためのサンプル数複雑度は$\tilde{O}(\epsilon^{-3})$、通信複雑度は$\tilde{O}(\epsilon^{-2})$となる。
– 強健なフェデレーテッド学習や分散メタ学習のタスクで数値実験を行い、アルゴリズムの効率性を示した。

要約(オリジナル)

Federated Learning is a popular distributed learning paradigm in machine learning. Meanwhile, composition optimization is an effective hierarchical learning model, which appears in many machine learning applications such as meta learning and robust learning. More recently, although a few federated composition optimization algorithms have been proposed, they still suffer from high sample and communication complexities. In the paper, thus, we propose a class of faster federated compositional optimization algorithms (i.e., MFCGD and AdaMFCGD) to solve the nonconvex distributed composition problems, which builds on the momentum-based variance reduced and local-SGD techniques. In particular, our adaptive algorithm (i.e., AdaMFCGD) uses a unified adaptive matrix to flexibly incorporate various adaptive learning rates. Moreover, we provide a solid theoretical analysis for our algorithms under non-i.i.d. setting, and prove our algorithms obtain a lower sample and communication complexities simultaneously than the existing federated compositional algorithms. Specifically, our algorithms obtain lower sample complexity of $\tilde{O}(\epsilon^{-3})$ with lower communication complexity of $\tilde{O}(\epsilon^{-2})$ in finding an $\epsilon$-stationary solution. We conduct the numerical experiments on robust federated learning and distributed meta learning tasks to demonstrate the efficiency of our algorithms.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI