Damped Proximal Augmented Lagrangian Method for weakly-Convex Problems with Convex Constraints

要約

弱凸目的と凸線形/非線形制約を伴う問題を解決するための減衰近接拡張ラグランジアン法 (DPALM) を提供します。
DPALM は、完全なステップサイズを取得する代わりに、減衰デュアル ステップサイズを採用して、デュアル反復の境界性を確保します。
DPALM の各部分問題が適切な精度で解決された場合、DPALM は $O(\vareps^{-2})$ 外側の反復内で (に近い) $\vareps$-KKT 点を生成できることを示します。
さらに、目的が正規化されたスムーズ関数または正規化された構成形式である場合の DPALM の全体的な反復の複雑さを確立します。
前者の場合、DPALM は加速近位勾配を適用することで $\widetilde{\mathcal{O}}\left(\varepsilon^{-2.5} \right)$ の複雑さを達成し、$\varepsilon$-KKT 点を生成します。
(APG) メソッドを各 DPALM サブ問題に適用します。
後者の場合、APG を使用して $\varepsilon$-KKT に近い点を生成するには、DPALM の複雑さは $\widetilde{\mathcal{O}}\left(\varepsilon^{-3} \right)$ になります。
各部分問題のモロー包絡平滑化バージョンを解きます。
外側の反復の複雑さと全体の複雑さは、制約のない問題または線形制約の問題から凸制約の問題に既存の最良のものを一般化するか、同じ構造の問題を解決する際の最もよく知られている結果を改善します。
さらに、線形/二次制約付き非凸二次プログラムと線形制約付きロバスト非線形最小二乗法に関する数値実験が行われ、いくつかの最先端の方法に対する提案された DPALM の経験的効率が実証されています。

要約(オリジナル)

We give a damped proximal augmented Lagrangian method (DPALM) for solving problems with a weakly-convex objective and convex linear/nonlinear constraints. Instead of taking a full stepsize, DPALM adopts a damped dual stepsize to ensure the boundedness of dual iterates. We show that DPALM can produce a (near) $\vareps$-KKT point within $O(\vareps^{-2})$ outer iterations if each DPALM subproblem is solved to a proper accuracy. In addition, we establish overall iteration complexity of DPALM when the objective is either a regularized smooth function or in a regularized compositional form. For the former case, DPALM achieves the complexity of $\widetilde{\mathcal{O}}\left(\varepsilon^{-2.5} \right)$ to produce an $\varepsilon$-KKT point by applying an accelerated proximal gradient (APG) method to each DPALM subproblem. For the latter case, the complexity of DPALM is $\widetilde{\mathcal{O}}\left(\varepsilon^{-3} \right)$ to produce a near $\varepsilon$-KKT point by using an APG to solve a Moreau-envelope smoothed version of each subproblem. Our outer iteration complexity and the overall complexity either generalize existing best ones from unconstrained or linear-constrained problems to convex-constrained ones, or improve over the best-known results on solving the same-structured problems. Furthermore, numerical experiments on linearly/quadratically constrained non-convex quadratic programs and linear-constrained robust nonlinear least squares are conducted to demonstrate the empirical efficiency of the proposed DPALM over several state-of-the art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google