Multi-consensus Decentralized Accelerated Gradient Descent

要約

この論文では、大規模な機械学習、センサー ネットワーク、制御理論に広範囲に応用できる分散凸最適化問題について考察します。
私たちは、最適な計算複雑さと最適に近い通信複雑さを実現する新しいアルゴリズムを提案します。
私たちの理論的結果は、ローカル条件ではなくグローバル条件番号に応じて、下限に（ほぼ）一致する通信複雑性を達成できるアルゴリズムが存在するかどうかという未解決の問題に対して肯定的な答えを与えます。
さらに、私たちのアルゴリズムの線形収束は、グローバル目的関数の強い凸性にのみ依存しており、ローカル関数が凸である必要はありません。
私たちの手法の設計は、ネステロフの加速、マルチコンセンサス、勾配追跡などのよく知られた技術の新たな統合に依存しています。
実証研究では、機械学習アプリケーションにおいて当社の手法が優れたパフォーマンスを発揮することが示されています。

要約(オリジナル)

This paper considers the decentralized convex optimization problem, which has a wide range of applications in large-scale machine learning, sensor networks, and control theory. We propose novel algorithms that achieve optimal computation complexity and near optimal communication complexity. Our theoretical results give affirmative answers to the open problem on whether there exists an algorithm that can achieve a communication complexity (nearly) matching the lower bound depending on the global condition number instead of the local one. Furthermore, the linear convergence of our algorithms only depends on the strong convexity of global objective and it does \emph{not} require the local functions to be convex. The design of our methods relies on a novel integration of well-known techniques including Nesterov’s acceleration, multi-consensus and gradient-tracking. Empirical studies show the outperformance of our methods for machine learning applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google