Regularized Newton Method with Global $O(1/k^2)$ Convergence

要約

任意の初期化から高速に収束し、Lipschitz Hessian を使用した任意の凸目標に対してニュートン型の方法を提示します。
これは、3 次正則化のアイデアを特定の適応レーベンバーグ – マルカート ペナルティとマージすることによって達成されます。
特に、$x^{k+1}=x^k – \bigl(\nabla^2 f(x^k) + \sqrt{H\|\nabla f(x^k) で与えられる反復を示します。
)\|} \mathbf{I}\bigr)^{-1}\nabla f(x^k)$ ($H>0$ は定数) は、$\mathcal{O}(\frac
{1}{k^2})$ レート。
私たちの方法は、ニュートンの方法の最初の変種であり、安価な反復と実証可能な高速グローバル収束の両方を備えています。
さらに、目的が強い凸である場合、局所的にこの方法が超線形に収束することを証明します。
メソッドのパフォーマンスを向上させるために、$H$ の事前知識を必要とせず、効率的であることが証明されているライン検索手順を提示します。

要約(オリジナル)

We present a Newton-type method that converges fast from any initialization and for arbitrary convex objectives with Lipschitz Hessians. We achieve this by merging the ideas of cubic regularization with a certain adaptive Levenberg–Marquardt penalty. In particular, we show that the iterates given by $x^{k+1}=x^k – \bigl(\nabla^2 f(x^k) + \sqrt{H\|\nabla f(x^k)\|} \mathbf{I}\bigr)^{-1}\nabla f(x^k)$, where $H>0$ is a constant, converge globally with a $\mathcal{O}(\frac{1}{k^2})$ rate. Our method is the first variant of Newton’s method that has both cheap iterations and provably fast global convergence. Moreover, we prove that locally our method converges superlinearly when the objective is strongly convex. To boost the method’s performance, we present a line search procedure that does not need prior knowledge of $H$ and is provably efficient.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google