Continual Pre-Training of Large Language Models: How to (re)warm your model?

要約

大規模言語モデル (LLM) は、数十億のトークンで定期的に事前トレーニングされ、新しいデータが利用可能になったときにのみプロセスが再度開始されます。
はるかに安価で効率的な解決策は、これらのモデルの継続的な事前トレーニングを有効にすることです。つまり、事前トレーニングされたモデルを最初から再トレーニングするのではなく、新しいデータで更新します。
ただし、新しいデータによって引き起こされる分布のシフトは、通常、過去のデータのパフォーマンスの低下をもたらします。
この作業では、効率的な継続的な事前トレーニングに向けて一歩を踏み出し、さまざまなウォームアップ戦略の効果を検証します。
私たちの仮説は、新しいデータセットでトレーニングする際の計算効率を向上させるには、学習率を再度高める必要があるというものです。
線形ウォームアップとコサイン減衰スケジュールに従い、SlimPajama (ダウンストリーム データ、297B トークン) での事前トレーニングを継続しながら、Pile (アップストリーム データ、300B トークン) で事前トレーニングされたモデルのウォームアップ フェーズを研究します。
私たちはすべての実験を Pythia 410M 言語モデル アーキテクチャ上で実施し、検証の複雑さを通じてパフォーマンスを評価します。
さまざまな事前トレーニング チェックポイント、さまざまな最大学習率、およびさまざまなウォームアップの長さを実験します。
私たちの結果は、モデルを再ウォーミングすると最初は上流と下流のデータの損失が増加しますが、長期的には下流のパフォーマンスが向上し、大規模な下流のデータセットであっても最初からトレーニングされたモデルを上回るパフォーマンスを示すことがわかりました$\unicode{x2013}$。

要約(オリジナル)

Large language models (LLMs) are routinely pre-trained on billions of tokens, only to restart the process over again once new data becomes available. A much cheaper and more efficient solution would be to enable the continual pre-training of these models, i.e. updating pre-trained models with new data instead of re-training them from scratch. However, the distribution shift induced by novel data typically results in degraded performance on past data. Taking a step towards efficient continual pre-training, in this work, we examine the effect of different warm-up strategies. Our hypothesis is that the learning rate must be re-increased to improve compute efficiency when training on a new dataset. We study the warmup phase of models pre-trained on the Pile (upstream data, 300B tokens) as we continue to pre-train on SlimPajama (downstream data, 297B tokens), following a linear warmup and cosine decay schedule. We conduct all experiments on the Pythia 410M language model architecture and evaluate performance through validation perplexity. We experiment with different pre-training checkpoints, various maximum learning rates, and various warmup lengths. Our results show that while rewarming models first increases the loss on upstream and downstream data, in the longer run it improves the downstream performance, outperforming models trained from scratch$\unicode{x2013}$even for a large downstream dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google