Don’t Be So Positive: Negative Step Sizes in Second-Order Methods

要約

2 次法の価値は、曲率情報の使用にあります。
しかし、この情報を抽出するにはコストがかかり、一度取得した貴重な負の曲率情報は、方法が全体的に収束するように破棄されることがよくあります。
これにより、最新の機械学習における 2 次手法の有効性が制限されます。
この論文では、負のステップ サイズという 1 つの要素を追加すれば、2 次法および 2 次法に類似した手法がニューラル ネットワークの最適化に有望であることを示します。
非常に一般的な条件下では、上昇方向を生成する方法は、正と負のステップ サイズの両方を許可する Wolfe ライン探索と組み合わせると全体的に収束することを示します。
私たちは、負のステップ サイズを使用する方が、一般的なヘッシアン修正方法よりも効果的であることが多いことを実験的に示しています。

要約(オリジナル)

The value of second-order methods lies in the use of curvature information. Yet, this information is costly to extract and once obtained, valuable negative curvature information is often discarded so that the method is globally convergent. This limits the effectiveness of second-order methods in modern machine learning. In this paper, we show that second-order and second-order-like methods are promising optimizers for neural networks provided that we add one ingredient: negative step sizes. We show that under very general conditions, methods that produce ascent directions are globally convergent when combined with a Wolfe line search that allows both positive and negative step sizes. We experimentally demonstrate that using negative step sizes is often more effective than common Hessian modification methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google