An Adaptive Second-order Method for a Class of Nonconvex Nonsmooth Composite Optimization

要約

この論文では、特定の種類の非凸スパース性を促進する正則化問題、つまり $\ell_p$-norm 正則化と 2 回連続微分可能な損失関数を組み合わせた問題を検討します。
我々は、このクラスの困難な非凸および非滑らかな問題に効果的に対処するように設計された新しい二次アルゴリズムを提案し、いくつかの革新的な機能を示します。 (i) 再重み付けされた $\ell_1$ 正則化部分問題と部分空間近似ニュートンを解くための交互戦略の使用
ステップ。
(ii) 再重み付けされた $\ell_1$ 正則化部分問題は、非凸正則化項への凸近似に依存しており、ソフトしきい値演算子によって特徴付けられる閉形式の解を可能にします。
この機能により、私たちの方法をさまざまな非凸正則化問題に適用できるようになります。
(iii) 私たちのアルゴリズムは、反復がその符号値を維持し、十分な反復回数にわたって非ゼロ成分が 0 から遠ざけることを保証し、最終的に摂動ニュートン法に移行します。
(iv) アルゴリズムで正確なニュートン ステップを使用する場合、グローバル収束、Kurdyka-\L ojasiewicz (KL) 特性が存在する場合のローカル超線形収束、およびローカル 2 次収束の理論的保証を提供します。
また、さまざまなモデル予測問題の実験を通じて、アプローチの有効性を示します。

要約(オリジナル)

This paper explores a specific type of nonconvex sparsity-promoting regularization problems, namely those involving $\ell_p$-norm regularization, in conjunction with a twice continuously differentiable loss function. We propose a novel second-order algorithm designed to effectively address this class of challenging nonconvex and nonsmooth problems, showcasing several innovative features: (i) The use of an alternating strategy to solve a reweighted $\ell_1$ regularized subproblem and the subspace approximate Newton step. (ii) The reweighted $\ell_1$ regularized subproblem relies on a convex approximation to the nonconvex regularization term, enabling a closed-form solution characterized by the soft-thresholding operator. This feature allows our method to be applied to various nonconvex regularization problems. (iii) Our algorithm ensures that the iterates maintain their sign values and that nonzero components are kept away from 0 for a sufficient number of iterations, eventually transitioning to a perturbed Newton method. (iv) We provide theoretical guarantees of global convergence, local superlinear convergence in the presence of the Kurdyka-\L ojasiewicz (KL) property, and local quadratic convergence when employing the exact Newton step in our algorithm. We also showcase the effectiveness of our approach through experiments on a diverse set of model prediction problems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google