Stability of Primal-Dual Gradient Flow Dynamics for Multi-Block Convex Optimization Problems

要約

一般化されたコンセンサス制約の下で、目的関数内の複数の、おそらく非滑らかな項を伴う複合凸最適化問題に対する主双対勾配流れダイナミクスの安定性特性を調べます。
提案されたダイナミクスは近位拡張ラグランジアンに基づいており、大規模なマルチブロック シナリオでは解析と実装の両方の観点から重大な課題に直面する ADMM に代わる実行可能な代替手段を提供します。
個別に収束を保証するカスタマイズされたアルゴリズムとは対照的に、当社は、広範なクラスの困難な複合最適化問題を解決するための体系的なアプローチを提供します。
さまざまな構造特性を活用して、提案されたダイナミクスのグローバル (指数関数的) 収束保証を確立します。
私たちの仮定は、さまざまな主双対ダイナミクスの（指数関数的）安定性や、標準的な 2 ブロックおよびマルチブロックの ADMM および EXTRA アルゴリズムなどの離散時間手法の（線形）収束を証明するために必要な仮定よりもはるかに弱いです。
最後に、指数関数的な安定性のためのいくつかの構造仮定の必要性を示し、並列および分散コンピューティング アプリケーションに対する提案されたダイナミクスの利便性を実証するための計算実験を提供します。

要約(オリジナル)

We examine stability properties of primal-dual gradient flow dynamics for composite convex optimization problems with multiple, possibly nonsmooth, terms in the objective function under the generalized consensus constraint. The proposed dynamics are based on the proximal augmented Lagrangian and they provide a viable alternative to ADMM which faces significant challenges from both analysis and implementation viewpoints in large-scale multi-block scenarios. In contrast to customized algorithms with individualized convergence guarantees, we provide a systematic approach for solving a broad class of challenging composite optimization problems. We leverage various structural properties to establish global (exponential) convergence guarantees for the proposed dynamics. Our assumptions are much weaker than those required to prove (exponential) stability of various primal-dual dynamics as well as (linear) convergence of discrete-time methods, e.g., standard two-block and multi-block ADMM and EXTRA algorithms. Finally, we show necessity of some of our structural assumptions for exponential stability and provide computational experiments to demonstrate the convenience of the proposed dynamics for parallel and distributed computing applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google