GPT or BERT: why not both?

要約

マスクされた言語モデリングと因果的言語モデリングをマージする簡単な方法を紹介します。
このハイブリッド トレーニング目標により、単一のトランスフォーマー スタック内で両方のモデリング パラダイムの長所を組み合わせたモデルが作成されます。GPT-BERT は、標準的な因果関係またはマスクされた言語モデルと同様に透過的に使用できます。
BabyLM Challenge 2024 でこの柔軟な動作を可能にする事前トレーニング プロセスをテストしました。結果は、ハイブリッド事前トレーニングがマスクのみまたは因果のみのモデルよりも優れていることを示しています。
モデル、トレーニング コーパス、コードをオープンに公開します。

要約(オリジナル)

We present a simple way to merge masked language modeling with causal language modeling. This hybrid training objective results in a model that combines the strengths of both modeling paradigms within a single transformer stack: GPT-BERT can be transparently used like any standard causal or masked language model. We test the pretraining process that enables this flexible behavior on the BabyLM Challenge 2024. The results show that the hybrid pretraining outperforms masked-only or causal-only models. We openly release the models, training corpora and code.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google