A Regularized Newton Method for Nonconvex Optimization with Global and Local Complexity Guarantees

要約

Lipschitz連続ヘッセンを使用して、非凸関数の$ \ epsilon $ $ -Stationary Pointを見つける問題を検討し、現在および以前の勾配から構築された新しいクラスの正規化された正規化されたNewtonメソッドを提案します。
このメソッドは、最近開発された線形コンジュゲート勾配アプローチを負の曲率モニターで活用して、正規化されたニュートン方程式を解決します。
特に、私たちのアルゴリズムは適応的であり、ヘシアンのリプシッツ定数の事前知識を必要とせず、$ o（\ epsilon^{ – \ frac {3} {2}}） + \ tilde o（1）のグローバルな複雑さを達成します。
$ 2次のOracle Calls、および$ \ Tilde O（\ epsilon^{ – \ frac {7} {4}}）$ $ hessian-vector製品の$。
さらに、繰り返しがヘシアンが明確になるポイントに収束すると、この方法は二次局所収束を示します。
予備的な数値結果は、アルゴリズムの競争力を示しています。

要約(オリジナル)

We consider the problem of finding an $\epsilon$-stationary point of a nonconvex function with a Lipschitz continuous Hessian and propose a quadratic regularized Newton method incorporating a new class of regularizers constructed from the current and previous gradients. The method leverages a recently developed linear conjugate gradient approach with a negative curvature monitor to solve the regularized Newton equation. Notably, our algorithm is adaptive, requiring no prior knowledge of the Lipschitz constant of the Hessian, and achieves a global complexity of $O(\epsilon^{-\frac{3}{2}}) + \tilde O(1)$ in terms of the second-order oracle calls, and $\tilde O(\epsilon^{-\frac{7}{4}})$ for Hessian-vector products, respectively. Moreover, when the iterates converge to a point where the Hessian is positive definite, the method exhibits quadratic local convergence. Preliminary numerical results illustrate the competitiveness of our algorithm.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google