Scaling Data-Constrained Language Models

要約

言語モデルのスケーリングの現在の傾向には、パラメーター数とトレーニング データセット サイズの両方の増加が含まれます。
この傾向を推定すると、トレーニング データセットのサイズがインターネット上で利用可能なテキスト データの量によって間もなく制限される可能性があることが示唆されます。
この制限を動機として、私たちはデータ制約のある領域におけるスケーリング言語モデルを調査します。
具体的には、最大 9,000 億のトレーニング トークンと 90 億のパラメーター モデルに及ぶ、データ繰り返しの範囲と計算予算を変化させる大規模な実験セットを実行します。
固定のコンピューティング バジェットに対する制約付きデータの場合、最大 4 エポックの反復データを使用したトレーニングでは、固有のデータを使用する場合と比較して、損失の変化がごくわずかであることがわかりました。
ただし、繰り返しを繰り返すと、コンピューティングを追加する価値は最終的にゼロに減衰します。
私たちは、繰り返されるトークンと過剰なパラメーターの値の減少を考慮した計算の最適性のためのスケーリング則を提案し、経験的に検証します。
最後に、トレーニング データセットをコード データで強化したり、一般的に使用されるフィルターを削除したりするなど、データ不足を軽減するアプローチを実験します。
400 回のトレーニング実行からのモデルとデータセットは、https://github.com/huggingface/datablations から無料で入手できます。

要約(オリジナル)

The current trend of scaling language models involves increasing both parameter count and training dataset size. Extrapolating this trend suggests that training dataset size may soon be limited by the amount of text data available on the internet. Motivated by this limit, we investigate scaling language models in data-constrained regimes. Specifically, we run a large set of experiments varying the extent of data repetition and compute budget, ranging up to 900 billion training tokens and 9 billion parameter models. We find that with constrained data for a fixed compute budget, training with up to 4 epochs of repeated data yields negligible changes to loss compared to having unique data. However, with more repetition, the value of adding compute eventually decays to zero. We propose and empirically validate a scaling law for compute optimality that accounts for the decreasing value of repeated tokens and excess parameters. Finally, we experiment with approaches mitigating data scarcity, including augmenting the training dataset with code data or removing commonly used filters. Models and datasets from our 400 training runs are freely available at https://github.com/huggingface/datablations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google