Enhancing Convergence of Decentralized Gradient Tracking under the KL Property

要約

私たちは、無向グラフとしてモデル化された、ネットワーク上の分散型マルチエージェント最適化を研究します。
最適化問題は、非凸の平滑関数と凸の拡張値関数を最小化することで構成され、解に制約や追加の構造 (スパース性、低ランクなど) を強制します。
さらに、目的関数が与えられた指数 $\theta\in [0,1)$ で Kurdyka-{\L}ojasiewicz (KL) 特性を満たすと仮定します。
KL 特性は、実際に興味深いいくつかの (非凸) 関数によって満たされます。たとえば、機械学習アプリケーションから生じます。
集中型設定では、強力な収束保証を実現できます。
ここでは、悪名高い分散型勾配追跡ベースのアルゴリズム SONATA に対して同じタイプの収束を確立します。
具体的には、 $\textbf{(i)}$ の場合、 $\theta\in (0,1/2]$ の場合、SONATA によって生成された数列は R 線形速度で問題の定常解に収束します。$ \textbf{(
ii)} $\theta\in (1/2,1)$ の場合、サブリニアレートが証明され、最後に $\theta=0$ の場合、反復は次のいずれかを行います。
これは、$\theta=0$ の場合を除き、有限のステップ数で収束するか、R 線形レートで収束します。

要約(オリジナル)

We study decentralized multiagent optimization over networks, modeled as undirected graphs. The optimization problem consists of minimizing a nonconvex smooth function plus a convex extended-value function, which enforces constraints or extra structure on the solution (e.g., sparsity, low-rank). We further assume that the objective function satisfies the Kurdyka-{\L}ojasiewicz (KL) property, with given exponent $\theta\in [0,1)$. The KL property is satisfied by several (nonconvex) functions of practical interest, e.g., arising from machine learning applications; in the centralized setting, it permits to achieve strong convergence guarantees. Here we establish convergence of the same type for the notorious decentralized gradient-tracking-based algorithm SONATA. Specifically, $\textbf{(i)}$ when $\theta\in (0,1/2]$, the sequence generated by SONATA converges to a stationary solution of the problem at R-linear rate;$ \textbf{(ii)} $when $\theta\in (1/2,1)$, sublinear rate is certified; and finally $\textbf{(iii)}$ when $\theta=0$, the iterates will either converge in a finite number of steps or converges at R-linear rate. This matches the convergence behavior of centralized proximal-gradient algorithms except when $\theta=0$. Numerical results validate our theoretical findings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google