STLM Engineering Report: Dropout

要約

この研究では、特に 1 億パラメータ未満のスケールのモデルのコンテキストにおいて、現代の言語モデルに対するドロップアウトの関連性を調査します。
私たちは、まず、小規模で高品質なデータセットを与えられたモデルのサンプル効率を向上させるという領域で、次に、モデルが適合不足になる可能性がある大規模なデータセットでの適合の質を向上させるという領域で、その関連性を探ります。
従来の通念と一致して、ドロップアウトは過学習シナリオでも有効であり、さらに、以前の研究で示唆されているように、データが過剰な場合でもモデルの適合性を向上させるのにある程度の関連性がある可能性があることがわかりました。
その過程で、このパフォーマンス向上の背後にあるメカニズムに関する既存の説明が言語モデリングの場合には当てはまらないことがわかりました。

要約(オリジナル)

In this work we explore the relevance of dropout for modern language models, particularly in the context of models on the scale of <100M parameters. We explore it's relevance firstly in the regime of improving the sample efficiency of models given small, high quality datasets, and secondly in the regime of improving the quality of its fit on larger datasets where models may underfit. We find that concordant with conventional wisdom, dropout remains effective in the overfitting scenario, and that furthermore it may have some relevance for improving the fit of models even in the case of excess data, as suggested by previous research. In the process we find that the existing explanation for the mechanism behind this performance gain is not applicable in the case of language modelling.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google