MiLe Loss: a New Loss for Mitigating the Bias of Learning Difficulties in Generative Language Models

要約

生成言語モデルは通常、前のトークン (サブワード/単語/フレーズ) を考慮して次のトークン (つまり、サブワード/単語/フレーズ) を予測することによって、大規模なテキスト コーパスで事前トレーニングされます。
最近の研究では、下流タスクにおける大規模な生成言語モデルの優れたパフォーマンスが実証されました。
しかし、既存の生成言語モデルは一般に、トレーニング中のテキスト コーパスに固有の課題、つまり頻繁に出現するトークンとまれに出現するトークンの間の不均衡を無視します。
これにより、言語モデルが一般的で学習しやすいトークンに支配され、頻度が低く学習が困難なトークンが見落とされる可能性があります。
それを軽減するために、トークンによる学習困難のバイアスを軽減するためのMiLe Loss関数を提案します。
トレーニング中に、語彙全体にわたる対応する予測確率分布の情報エントロピーに従って、学習対象のトークンの学習難易度を動的に評価できます。
次に、トレーニング損失を適応的にスケールし、学習が困難なトークンにより重点を置くようにモデルを導こうとします。
Pile データセット上で、468M、1.2B、および 6.7B パラメーターのさまざまなスケールで生成言語モデルをトレーニングします。
実験により、提案された MiLe Loss を組み込んだモデルは、下流のベンチマークで一貫したパフォーマンスの向上が得られることが明らかになりました。

要約(オリジナル)

Generative language models are usually pretrained on large text corpus via predicting the next token (i.e., sub-word/word/phrase) given the previous ones. Recent works have demonstrated the impressive performance of large generative language models on downstream tasks. However, existing generative language models generally neglect an inherent challenge in text corpus during training, i.e., the imbalance between frequent tokens and infrequent ones. It can lead a language model to be dominated by common and easy-to-learn tokens, thereby overlooking the infrequent and difficult-to-learn ones. To alleviate that, we propose a MiLe Loss function for mitigating the bias of learning difficulties with tokens. During training, it can dynamically assess the learning difficulty of a to-be-learned token, according to the information entropy of the corresponding predicted probability distribution over the vocabulary. Then it scales the training loss adaptively, trying to lead the model to focus more on the difficult-to-learn tokens. On the Pile dataset, we train generative language models at different scales of 468M, 1.2B, and 6.7B parameters. Experiments reveal that models incorporating the proposed MiLe Loss can gain consistent performance improvement on downstream benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google