Special Properties of Gradient Descent with Large Learning Rates

要約

ニューラル ネットワークをトレーニングする場合、確率的勾配降下法 (SGD) で優れたモデルを取得するには大きなステップ サイズが不可欠であることが広く観察されています。
ただし、SGD の成功に対する大きなステップ サイズの影響は、理論的にはよく理解されていません。
以前のいくつかの研究では、この成功は SGD に存在する確率的ノイズに起因するとされています。
しかし、新しい一連の実験を通じて、確率的ノイズは優れた非凸トレーニングを説明するのに十分ではなく、代わりに大きな学習率自体の効果が最高のパフォーマンスを得るために不可欠であることを示しています.
ノイズのないケース、つまりフルバッチ GD の場合。
大きなステップ サイズを持つ GD (特定の非凸関数クラス) は、小さなステップ サイズを持つ GD とは異なる軌跡をたどり、局所的な最小値ではなく全体的な最小値に収束する可能性があることを正式に証明します。
私たちの設定は、従来の設定では観察できない動作に基づいてアルゴリズムを比較できる将来の分析のためのフレームワークを提供します。

要約(オリジナル)

When training neural networks, it has been widely observed that a large step size is essential in stochastic gradient descent (SGD) for obtaining superior models. However, the effect of large step sizes on the success of SGD is not well understood theoretically. Several previous works have attributed this success to the stochastic noise present in SGD. However, we show through a novel set of experiments that the stochastic noise is not sufficient to explain good non-convex training, and that instead the effect of a large learning rate itself is essential for obtaining best performance.We demonstrate the same effects also in the noise-less case, i.e. for full-batch GD. We formally prove that GD with large step size — on certain non-convex function classes — follows a different trajectory than GD with a small step size, which can lead to convergence to a global minimum instead of a local one. Our settings provide a framework for future analysis which allows comparing algorithms based on behaviors that can not be observed in the traditional settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google