Exploration of Masked and Causal Language Modelling for Text Generation

要約

大規模言語モデル (LLM) は、自然言語処理 (NLP) の分野に革命をもたらし、この分野のほぼすべてのタスクで最先端のパフォーマンスを達成しました。
ただし、テキスト生成で使用される一般的なアプローチである因果言語モデリング (CLM) は、テキストを左から右に順番に生成するため、本質的にモデルの自由度が制限され、各トークンがいつどこで生成されるかが決まりません。
対照的に、マスク言語モデリング (MLM) は主に言語理解タスクに使用され、テキスト内の任意の場所に任意の順序でトークンを生成できます。
このペーパーでは、テキスト生成タスクに対する MLM アプローチと CLM アプローチの広範な比較を実施します。
そのために、3 つの異なるデータセット、つまり 1) 退院概要、2) 映画のあらすじ、3) 著者検証データセットで、同等のサイズのいくつかの言語モデルを事前トレーニングします。
世代の品質を評価するには、まず定量的な指標を使用し、次に人による定性的な評価を実行して一貫性と文法の正しさを分析します。
さらに、生成されたテキストを 3 つの異なる下流タスク (1) エンティティ認識、2) テキスト分類、3) 著者証明のタスクで使用することによって、その有用性を評価します。
結果は、MLM がすべてのデータセットにわたってテキスト生成において CLM よりも一貫して優れており、生成されたテキストの定量的スコアと一貫性が優れていることを示しています。
この研究では、生成されたテキストの品質と下流タスクのモデルのパフォーマンスの間に \textit{強い相関関係がない}こともわかりました。
この研究により、テキスト生成のための MLM が将来の研究に大きな可能性を秘めていることを示し、この分野における将来の研究の方向性を示します。

要約(オリジナル)

Large Language Models (LLMs) have revolutionised the field of Natural Language Processing (NLP) and have achieved state-of-the-art performance in practically every task in this field. However, the prevalent approach used in text generation, Causal Language Modelling (CLM), which generates text sequentially from left to right, inherently limits the freedom of the model, which does not decide when and where each token is generated. In contrast, Masked Language Modelling (MLM), primarily used for language understanding tasks, can generate tokens anywhere in the text and any order. This paper conducts an extensive comparison of MLM and CLM approaches for text generation tasks. To do so, we pre-train several language models of comparable sizes on three different datasets, namely 1) medical discharge summaries, 2) movie plot synopses, and 3) authorship verification datasets. To assess the quality of the generations, we first employ quantitative metrics and then perform a qualitative human evaluation to analyse coherence and grammatical correctness. In addition, we evaluate the usefulness of the generated texts by using them in three different downstream tasks: 1) Entity Recognition, 2) Text Classification, and 3) Authorship Verification. The results show that MLM consistently outperforms CLM in text generation across all datasets, with higher quantitative scores and better coherence in the generated text. The study also finds \textit{no strong correlation} between the quality of the generated text and the performance of the models in the downstream tasks. With this study, we show that MLM for text generation has great potential for future research and provides direction for future studies in this area.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google