Metadata Conditioning Accelerates Language Model Pre-training

要約

言語モデルの事前学習コーパスに存在するスタイル、ドメイン、品質レベルの膨大な多様性は、一般的なモデル能力を開発する上で不可欠であるが、これらの異種データソースのそれぞれで例示される正しい動作を効率的に学習し、展開することは困難である。この問題に対処するため、我々はメタデータコンディショニングとクールダウン（MeCo）と呼ばれる新しい方法を提案する。MeCoは、まず学習中にテキストと一緒にメタデータ（例えば、en.wikipedia.orgのようなURL）を提供し、その後、標準的なテキストのみを用いたクールダウンフェーズを用いることで、メタデータがなくてもモデルが正常に機能するようにする。MeCoは、様々なモデルスケール（600Mから8Bパラメータ）とトレーニングソース（C4、RefinedWeb、DCLM）において、事前トレーニングを大幅に高速化します。例えば、MeCoを用いて訓練された1.6Bの言語モデルは、33%少ないデータ使用量で、標準的な事前訓練のダウンストリームタスク性能に匹敵する。例えば、有害な世代を減らすためにwikipedia.orgを前置したり、一般的な知識タスクのパフォーマンスを向上させるためにfactquizmaster.comを前置したりする。また、MeCoがモデル生成トピックなどの異なるタイプのメタデータと互換性があることも示す。MeCoは驚くほどシンプルで、計算オーバーヘッドを追加することなく、より有能で操縦可能な言語モデルを生成する上で有望であることを示す。

要約(オリジナル)

The vast diversity of styles, domains, and quality levels present in language model pre-training corpora is essential in developing general model capabilities, but efficiently learning and deploying the correct behaviors exemplified in each of these heterogeneous data sources is challenging. To address this, we propose a new method, termed Metadata Conditioning then Cooldown (MeCo), to incorporate additional learning cues during pre-training. MeCo first provides metadata (e.g., URLs like en.wikipedia.org) alongside the text during training and later uses a cooldown phase with only the standard text, thereby enabling the model to function normally even without metadata. MeCo significantly accelerates pre-training across different model scales (600M to 8B parameters) and training sources (C4, RefinedWeb, and DCLM). For instance, a 1.6B language model trained with MeCo matches the downstream task performance of standard pre-training while using 33% less data. Additionally, MeCo enables us to steer language models by conditioning the inference prompt on either real or fabricated metadata that encodes the desired properties of the output: for example, prepending wikipedia.org to reduce harmful generations or factquizmaster.com (fabricated) to improve common knowledge task performance. We also demonstrate that MeCo is compatible with different types of metadata, such as model-generated topics. MeCo is remarkably simple, adds no computational overhead, and demonstrates promise in producing more capable and steerable language models.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL