Nonparametric Variational Regularisation of Pretrained Transformers

要約

大規模な事前学習と微調整を行うTransformer大規模言語モデルという現在のパラダイムは、自然言語処理において全面的な大幅な改善につながっている。しかし、このような大規模モデルは、学習データへのオーバーフィットの影響を受けやすく、その結果、ドメインが変更されたときにモデルのパフォーマンスが低下する。また、モデルの規模が大きいため、新しいドメインに合わせてモデルを微調整するコストが大きくなる。ノンパラメトリックな変分情報ボトルネック(Nonparametric Variational Information Bottleneck: NVIB)は、Transformersのクロスアテンションを学習するための正則化手法として提案されており、オーバーフィッティング問題に対処できる可能性がある。我々はNVIBの枠組みを拡張し、Transformerにおける全てのタイプの注意関数を置き換え、既存の事前訓練されたTransformerが、提案されたアイデンティティ初期化を用いてノンパラメトリック変分(NV)モデルとして再解釈できることを示す。そして、初期化を変更することで、注意メカニズムに新しい情報理論的な訓練後の正則化が導入され、訓練なしで領域外の汎化が改善されることを示す。この成功は、事前訓練されたトランスフォーマーは暗黙的にNVベイズモデルであるという仮説を支持する。

要約(オリジナル)

The current paradigm of large-scale pre-training and fine-tuning Transformer large language models has lead to significant improvements across the board in natural language processing. However, such large models are susceptible to overfitting to their training data, and as a result the models perform poorly when the domain changes. Also, due to the model’s scale, the cost of fine-tuning the model to the new domain is large. Nonparametric Variational Information Bottleneck (NVIB) has been proposed as a regulariser for training cross-attention in Transformers, potentially addressing the overfitting problem. We extend the NVIB framework to replace all types of attention functions in Transformers, and show that existing pretrained Transformers can be reinterpreted as Nonparametric Variational (NV) models using a proposed identity initialisation. We then show that changing the initialisation introduces a novel, information-theoretic post-training regularisation in the attention mechanism, which improves out-of-domain generalisation without any training. This success supports the hypothesis that pretrained Transformers are implicitly NV Bayesian models.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL