Improving Stochastic Cubic Newton with Momentum

要約

一般的な非凸最適化問題を解くための確率的二次手法を研究します。
ニュートン法における確率的勾配とヘシアン推定を安定させるために、特別なバージョンの運動量を使用することを提案します。
運動量が確率的推定値の分散を明らかに改善し、この方法があらゆるノイズ レベルに対して収束することを可能にすることを示します。
三次正則化手法を使用して、反復ごとに 1 つの確率的データ サンプルのみを使用する場合でも、一般的な非凸問題に関するメソッドの 2 次定常点へのグローバル収束率を証明します。
これは、通常、大規模なバッチを必要とする非凸問題に対する既存のすべての確率的 2 次法とは明らかに対照的です。
したがって、我々は、確率的立方ニュートンの非凸ケースにおける任意のサイズのバッチの大域的収束を初めて実証しました。
さらに、運動量を伴う正則化ニュートン法の凸確率問題の速度が向上することを示します。

要約(オリジナル)

We study stochastic second-order methods for solving general non-convex optimization problems. We propose using a special version of momentum to stabilize the stochastic gradient and Hessian estimates in Newton’s method. We show that momentum provably improves the variance of stochastic estimates and allows the method to converge for any noise level. Using the cubic regularization technique, we prove a global convergence rate for our method on general non-convex problems to a second-order stationary point, even when using only a single stochastic data sample per iteration. This starkly contrasts with all existing stochastic second-order methods for non-convex problems, which typically require large batches. Therefore, we are the first to demonstrate global convergence for batches of arbitrary size in the non-convex case for the Stochastic Cubic Newton. Additionally, we show improved speed on convex stochastic problems for our regularized Newton methods with momentum.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google