Dropout Reduces Underfitting

要約

ヒントンらによって導入されました。
2012 年、Dropout はニューラル ネットワークの過学習を防ぐ正則化装置として時の試練に耐えてきました。
この研究では、ドロップアウトをトレーニングの開始時に使用すると、アンダーフィッティングも軽減できることを実証します。
初期段階では、ドロップアウトによってミニバッチ間の勾配の方向の分散が減少し、ミニバッチの勾配をデータセット全体の勾配に合わせるのに役立つことがわかりました。
これは、SGD の確率性を打ち消し、モデルのトレーニングに対する個々のバッチの影響を制限するのに役立ちます。
私たちの調査結果は、過小適合モデルのパフォーマンスを改善するための解決策につながりました。早期ドロップアウト: ドロップアウトはトレーニングの初期段階でのみ適用され、その後はオフになります。
早期ドロップアウトを備えたモデルは、ドロップアウトなしのモデルと比較して、最終トレーニング損失が低くなります。
さらに、過学習モデルを正規化するための対称的な手法である後期ドロップアウトを探索します。この手法では、ドロップアウトは初期の反復では使用されず、トレーニングの後半でのみ有効になります。
ImageNet およびさまざまなビジョン タスクでの実験により、私たちの方法が汎化精度を一貫して向上させることが実証されました。
私たちの結果は、深層学習における正則化を理解するためのさらなる研究を奨励しており、私たちの手法は、特に大規模データの時代において、将来のニューラル ネットワーク トレーニングに役立つツールとなる可能性があります。
コードは https://github.com/facebookresearch/dropout で入手できます。

要約(オリジナル)

Introduced by Hinton et al. in 2012, dropout has stood the test of time as a regularizer for preventing overfitting in neural networks. In this study, we demonstrate that dropout can also mitigate underfitting when used at the start of training. During the early phase, we find dropout reduces the directional variance of gradients across mini-batches and helps align the mini-batch gradients with the entire dataset’s gradient. This helps counteract the stochasticity of SGD and limit the influence of individual batches on model training. Our findings lead us to a solution for improving performance in underfitting models – early dropout: dropout is applied only during the initial phases of training, and turned off afterwards. Models equipped with early dropout achieve lower final training loss compared to their counterparts without dropout. Additionally, we explore a symmetric technique for regularizing overfitting models – late dropout, where dropout is not used in the early iterations and is only activated later in training. Experiments on ImageNet and various vision tasks demonstrate that our methods consistently improve generalization accuracy. Our results encourage more research on understanding regularization in deep learning and our methods can be useful tools for future neural network training, especially in the era of large data. Code is available at https://github.com/facebookresearch/dropout.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google