Increasing Batch Size Improves Convergence of Stochastic Gradient Descent with Momentum

要約

SGD に運動量項を追加することで定義される運動量付き確率的勾配降下法 (SGDM) は、理論と実践の両方でよく研究されています。
理論的に調査された結果は、学習率と運動量の重みの設定が SGDM の収束に影響を与えることを示しました。
一方、実際の結果は、バッチ サイズの設定が SGDM のパフォーマンスに大きく依存することを示しました。
この論文では、実際にディープ ニューラル ネットワークを訓練するために頻繁に使用される、一定の学習率と一定の運動量の重みを備えたミニバッチ SGDM に焦点を当てます。
この論文の貢献は、一定のバッチ サイズを使用しても、ディープ ニューラル ネットワークのトレーニングにおける経験的損失の完全な勾配ノルムの期待値が常に最小化されるわけではない一方、バッチ サイズを増加させると確実に最小化され、つまり増加することを理論的に示しています。
バッチ サイズにより、ミニバッチ SGDM の収束が向上します。
また、解析を裏付ける数値結果も提供します。特に、バッチ サイズを増加させたミニバッチ SGDM は、一定のバッチ サイズを使用した場合よりも速く静止点に収束することを示しています。
数値実験で使用されたオプティマイザーの Python 実装は、https://anonymous.4open.science/r/momentum-increasing-batch-size-888C/ で入手できます。

要約(オリジナル)

Stochastic gradient descent with momentum (SGDM), which is defined by adding a momentum term to SGD, has been well studied in both theory and practice. Theoretically investigated results showed that the settings of the learning rate and momentum weight affect the convergence of SGDM. Meanwhile, practical results showed that the setting of batch size strongly depends on the performance of SGDM. In this paper, we focus on mini-batch SGDM with constant learning rate and constant momentum weight, which is frequently used to train deep neural networks in practice. The contribution of this paper is showing theoretically that using a constant batch size does not always minimize the expectation of the full gradient norm of the empirical loss in training a deep neural network, whereas using an increasing batch size definitely minimizes it, that is, increasing batch size improves convergence of mini-batch SGDM. We also provide numerical results supporting our analyses, indicating specifically that mini-batch SGDM with an increasing batch size converges to stationary points faster than with a constant batch size. Python implementations of the optimizers used in the numerical experiments are available at https://anonymous.4open.science/r/momentum-increasing-batch-size-888C/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google