Do we really have to filter out random noise in pre-training data for language models?

要約

Webスケールの事前トレーニングデータセットは、LLMSの成功の基礎です。
ただし、インターネットからキュレーションされたテキストデータには、デコードエラーまたは規制されていないWebコンテンツによって引き起こされるランダムノイズが必然的に含まれています。
低品質または合成データに焦点を当てた以前の作品とは対照的に、我々の研究\ textBf {は、まとまりのある「What-How」フレームワークを介してそのようなランダムノイズの最初の体系的な調査を提供します。
次のトークン予測（NTP）の損失の増加は、ランダムノイズの割合よりも大幅に低かった。
この現象の理論的正当化を提供します。これは、多言語モデルの成功も解明します。
一方、実験は、下流タスクでのモデルのパフォーマンスがNTP損失のみに基づいていないことを示しています。つまり、ランダムノイズは下流のパフォーマンスが低下する可能性があります。
潜在的な悪影響に対処するために、モデルのパラメーターの知識を必要とせずに正常および乱れた機能の勾配を整列させることにより、下流タスクヘッドの除去能力を明示的に強化する新しいプラグアンドプレイ局所勾配マッチング損失を導入します。
8つの言語と14のビジョンベンチマークに関する追加の実験は、その有効性をさらに検証します。

要約(オリジナル)

Web-scale pre-training datasets are the cornerstone of LLMs’ success. However, text data curated from the internet inevitably contains random noise caused by decoding errors or unregulated web content. In contrast to previous works that focus on low quality or synthetic data, our study \textbf{provides the first systematic investigation into such random noise through a cohesive “What-Why-How” framework.} Surprisingly, we observed that the resulting increase in next-token prediction (NTP) loss was significantly lower than the proportion of random noise. We provide a theoretical justification for this phenomenon, which also elucidates the success of multilingual models. On the other hand, experiments show that the model’s performance in downstream tasks is not based solely on the NTP loss, which means that random noise may result in degraded downstream performance. To address the potential adverse effects, we introduce a novel plug-and-play Local Gradient Matching loss, which explicitly enhances the denoising capability of the downstream task head by aligning the gradient of normal and perturbed features without requiring knowledge of the model’s parameters. Additional experiments on 8 language and 14 vision benchmarks further validate its effectiveness.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google