First and zeroth-order implementations of the regularized Newton method with lazy approximated Hessians

要約

この研究では、一般的な非凸最適化問題を解決するための 3 次正則化ニュートン法の 1 次 (ヘッセ行列なし) および 0 次 (導関数なし) の実装を開発します。
そのために、導関数の有限差分近似を使用します。
アルゴリズムでは特別な適応検索手順を使用し、正則化定数と有限差分近似のパラメーターの両方を同時に適合させます。
これにより、スキームは実際のリプシッツ定数を知る必要がなくなります。
さらに、アルゴリズムには、以前に計算されたヘシアン近似行列を数回の反復で再利用する遅延ヘシアン更新が装備されています。
具体的には、$\mathcal{O}( n^{1/2} \epsilon^{-3/2})$ 関数のグローバルな複雑さの限界と、新しいヘッセ行列なし手法の勾配評価と、
$\mathcal{O}( n^{3/2} \epsilon^{-3/2} )$ 微分を使わない方法の関数評価。$n$ は問題の次元、$\epsilon$ は
勾配ノルムに必要な精度。
これらの複雑さの限界は、1 次および 0 次の非凸最適化における $n$ と $\epsilon$ への結合依存性の点で、以前に知られていたものを大幅に改善します。

要約(オリジナル)

In this work, we develop first-order (Hessian-free) and zero-order (derivative-free) implementations of the Cubically regularized Newton method for solving general non-convex optimization problems. For that, we employ finite difference approximations of the derivatives. We use a special adaptive search procedure in our algorithms, which simultaneously fits both the regularization constant and the parameters of the finite difference approximations. It makes our schemes free from the need to know the actual Lipschitz constants. Additionally, we equip our algorithms with the lazy Hessian update that reuse a previously computed Hessian approximation matrix for several iterations. Specifically, we prove the global complexity bound of $\mathcal{O}( n^{1/2} \epsilon^{-3/2})$ function and gradient evaluations for our new Hessian-free method, and a bound of $\mathcal{O}( n^{3/2} \epsilon^{-3/2} )$ function evaluations for the derivative-free method, where $n$ is the dimension of the problem and $\epsilon$ is the desired accuracy for the gradient norm. These complexity bounds significantly improve the previously known ones in terms of the joint dependence on $n$ and $\epsilon$, for the first-order and zeroth-order non-convex optimization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google