An Accelerated Block Proximal Framework with Adaptive Momentum for Nonconvex and Nonsmooth Optimization

要約

非凸かつ非滑らかな最適化のための適応運動量(ABPL$^+$)を備えた加速ブロック近接線形フレームワークを提案します。
一部のアルゴリズムで外挿ステップが失敗する潜在的な原因を分析し、アルゴリズム内の近位勾配ステップと線形外挿ステップの間のトレードオフを評価する比較プロセスを強化することで、この問題を解決します。
さらに、正の整数によるブロック変数の更新を伴うあらゆるシナリオにアルゴリズムを拡張し、各サイクルで変数ブロックの更新順序をランダムにシャッフルできるようにします。
さらに、穏やかな仮定の下で、ABPL$^+$ が外挿パラメーターとステップ サイズを厳密に制限することなく関数値を単調減少できることを証明し、これらのブロックをランダムな順序で更新することの実行可能性と有効性を実証します。
私たちのアルゴリズムによって生成されたシーケンスの導関数セットが臨界点セットであることを直感的に示します。
さらに、Kurdyka-Lojasiewicz (K{\L}) 条件を利用して、アルゴリズムのグローバル収束と線形および準線形収束率を示します。
アルゴリズムの有効性と柔軟性を高めるために、アルゴリズムの不正確なバージョンにも研究を拡張し、全体的なパフォーマンスを向上させる適応外挿パラメーター戦略を構築します。
私たちはアルゴリズムを $\ell_0$ ノルムによる複数の非負行列因数分解、$\ell_0$ ノルムによる非負テンソル分解に適用し、その有効性と効率性を検証するために広範な数値実験を実行します。

要約(オリジナル)

We propose an accelerated block proximal linear framework with adaptive momentum (ABPL$^+$) for nonconvex and nonsmooth optimization. We analyze the potential causes of the extrapolation step failing in some algorithms, and resolve this issue by enhancing the comparison process that evaluates the trade-off between the proximal gradient step and the linear extrapolation step in our algorithm. Furthermore, we extends our algorithm to any scenario involving updating block variables with positive integers, allowing each cycle to randomly shuffle the update order of the variable blocks. Additionally, under mild assumptions, we prove that ABPL$^+$ can monotonically decrease the function value without strictly restricting the extrapolation parameters and step size, demonstrates the viability and effectiveness of updating these blocks in a random order, and we also more obviously and intuitively demonstrate that the derivative set of the sequence generated by our algorithm is a critical point set. Moreover, we demonstrate the global convergence as well as the linear and sublinear convergence rates of our algorithm by utilizing the Kurdyka-Lojasiewicz (K{\L}) condition. To enhance the effectiveness and flexibility of our algorithm, we also expand the study to the imprecise version of our algorithm and construct an adaptive extrapolation parameter strategy, which improving its overall performance. We apply our algorithm to multiple non-negative matrix factorization with the $\ell_0$ norm, nonnegative tensor decomposition with the $\ell_0$ norm, and perform extensive numerical experiments to validate its effectiveness and efficiency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google