Asynchronous Distributed Optimization with Delay-free Parameters

要約

既存の非同期分散最適化アルゴリズムは、多くの場合、実際の収束が遅くなる減少ステップ サイズを使用するか、遅延の上限に依存して減少する固定ステップ サイズを使用します。
このような遅延限界は事前に取得することが難しいだけでなく、大きくなり、めったに達成されない傾向があり、その結果、収束が不必要に遅くなります。
この論文では、無向ネットワーク上のコンセンサス最適化問題を解決するための 2 つの分散アルゴリズム、Prox-DGD と DGD-ATC の非同期バージョンを開発します。
代替アルゴリズムとは対照的に、私たちのアルゴリズムは、遅延に依存しないステップ サイズを使用して、対応する同期アルゴリズムの固定小数点セットに収束できます。
部分的および完全な非同期下での強凸問題と弱凸問題の収束保証を確立します。
また、2 つの非同期メソッドの収束速度は、最悪の場合に制限されるのではなく、実際の非同期レベルに適応することも示します。
数値実験により、非同期アルゴリズムの優れた実用的なパフォーマンスが実証されました。

要約(オリジナル)

Existing asynchronous distributed optimization algorithms often use diminishing step-sizes that cause slow practical convergence, or use fixed step-sizes that depend on and decrease with an upper bound of the delays. Not only are such delay bounds hard to obtain in advance, but they also tend to be large and rarely attained, resulting in unnecessarily slow convergence. This paper develops asynchronous versions of two distributed algorithms, Prox-DGD and DGD-ATC, for solving consensus optimization problems over undirected networks. In contrast to alternatives, our algorithms can converge to the fixed point set of their synchronous counterparts using step-sizes that are independent of the delays. We establish convergence guarantees for strongly and weakly convex problems under both partial and total asynchrony. We also show that the convergence speed of the two asynchronous methods adapts to the actual level of asynchrony rather than being constrained by the worst-case. Numerical experiments demonstrate a strong practical performance of our asynchronous algorithms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google