InfoEntropy Loss to Mitigate Bias of Learning Difficulties for Generative Language Models

要約

生成言語モデルは通常、前のトークン (サブワード/単語/フレーズ) を考慮して次のトークン (つまり、サブワード/単語/フレーズ) を予測することによって、大規模なテキスト コーパスで事前トレーニングされます。
最近の研究では、下流タスクにおける大規模な生成言語モデルの優れたパフォーマンスが実証されました。
しかし、既存の生成言語モデルは一般に、トレーニング中のテキスト コーパスに固有の課題、つまり頻繁に出現するトークンとまれに出現するトークンの間の不均衡を無視します。
これにより、言語モデルが一般的で学習しやすいトークンに支配され、頻度が低く学習が困難なトークンが見落とされる可能性があります。
それを軽減するために、情報エントロピー損失 (InfoEntropy Loss) 関数を提案します。
トレーニング中に、語彙全体にわたる対応する予測確率分布の情報エントロピーに従って、学習対象のトークンの学習難易度を動的に評価できます。
次に、トレーニング損失を適応的にスケールし、学習が困難なトークンにより重点を置くようにモデルを導こうとします。
Pile データセット上で、468M、1.2B、および 6.7B パラメーターのさまざまなスケールで生成言語モデルをトレーニングします。
実験により、提案された InfoEntropy Loss を組み込んだモデルは、下流のベンチマークで一貫したパフォーマンスの向上が得られることが明らかになりました。

要約(オリジナル)

Generative language models are usually pretrained on large text corpus via predicting the next token (i.e., sub-word/word/phrase) given the previous ones. Recent works have demonstrated the impressive performance of large generative language models on downstream tasks. However, existing generative language models generally neglect an inherent challenge in text corpus during training, i.e., the imbalance between frequent tokens and infrequent ones. It can lead a language model to be dominated by common and easy-to-learn tokens, thereby overlooking the infrequent and difficult-to-learn ones. To alleviate that, we propose an Information Entropy Loss (InfoEntropy Loss) function. During training, it can dynamically assess the learning difficulty of a to-be-learned token, according to the information entropy of the corresponding predicted probability distribution over the vocabulary. Then it scales the training loss adaptively, trying to lead the model to focus more on the difficult-to-learn tokens. On the Pile dataset, we train generative language models at different scales of 468M, 1.2B, and 6.7B parameters. Experiments reveal that models incorporating the proposed InfoEntropy Loss can gain consistent performance improvement on downstream benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google