Higher-Order Newton Methods with Polynomial Work per Iteration

要約

任意の次数 $d$ の導関数を組み込みながら、反復あたりのコストの次元への多項式依存性を維持する Newton 法の一般化を示します。
各ステップで、$d^{\text{th}}$-order メソッドは半正定計画法を使用して、$d^{\text{th}}$-order Taylor 展開への平方凸近似の和を構築し、最小化します。
最小化したい関数の値。
$d^{\text{th}}$-order メソッドが次数 $d$ の局所収束を持つことを証明します。
これにより、古典的なニュートン法と比較してオラクルの複雑さが軽減されます。
$d$ が増加するにつれて極小値付近の引力盆地が大きくなる可能性があることを数値例で示します。
追加の仮定の下で、やはり反復あたりの多項式コストを使用する、グローバルに収束し、次数 $d$ の局所収束を持つ、修正されたアルゴリズムを提示します。

要約(オリジナル)

We present generalizations of Newton’s method that incorporate derivatives of an arbitrary order $d$ but maintain a polynomial dependence on dimension in their cost per iteration. At each step, our $d^{\text{th}}$-order method uses semidefinite programming to construct and minimize a sum of squares-convex approximation to the $d^{\text{th}}$-order Taylor expansion of the function we wish to minimize. We prove that our $d^{\text{th}}$-order method has local convergence of order $d$. This results in lower oracle complexity compared to the classical Newton method. We show on numerical examples that basins of attraction around local minima can get larger as $d$ increases. Under additional assumptions, we present a modified algorithm, again with polynomial cost per iteration, which is globally convergent and has local convergence of order $d$.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google