Newton-CG methods for nonconvex unconstrained optimization with Hölder continuous Hessian

要約

このホワイトペーパーでは、継続的には、高齢の連続ヘシアンを使用した2回の微分可能な目的関数を最小限に抑える非凸の制約のない最適化問題を検討します。
具体的には、関連するh \ ‘古いパラメーターが明示的に既知であると仮定して、この問題のおおよその1次の固定点を見つけるためのニュートン結合勾配（Newton-CG）メソッドを最初に提案します。
次に、これらのパラメーターの事前知識を必要とせずに、パラメーターフリーのニュートン-CGメソッドを開発します。
私たちの知る限り、この方法は、この問題のおおよその1次および2次の固定点を見つけるための最もよく知られている反復および操作の複雑さを達成する最初のパラメーターのない2次方法です。
最後に、予備的な数値結果を提示して、よく知られている正規化されたニュートン法よりもパラメーターフリーのニュートンCGメソッドの優れた実用的なパフォーマンスを実証します。

要約(オリジナル)

In this paper we consider a nonconvex unconstrained optimization problem minimizing a twice differentiable objective function with H\’older continuous Hessian. Specifically, we first propose a Newton-conjugate gradient (Newton-CG) method for finding an approximate first- and second-order stationary point of this problem, assuming the associated the H\’older parameters are explicitly known. Then we develop a parameter-free Newton-CG method without requiring any prior knowledge of these parameters. To the best of our knowledge, this method is the first parameter-free second-order method achieving the best-known iteration and operation complexity for finding an approximate first- and second-order stationary point of this problem. Finally, we present preliminary numerical results to demonstrate the superior practical performance of our parameter-free Newton-CG method over a well-known regularized Newton method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google