Don’t Stop Pretraining? Make Prompt-based Fine-tuning Powerful Learner

要約

タイトル：Pretrainingを止めないで？Prompt-based Fine-tuningを強力な学習者にする

要約：
– 自然言語処理分野で大きな進歩をもたらしている大量の未ラベルデータを用いた言語モデル（LM）のトレーニング
– この研究では、タスクに関連するテキストを続けてPretrainingすることが、fine-tuning（FT）のパフォーマンスを向上させることが広く受け入れられているNLPの考え方について再検討を行った
– 8つの単文タスクと8つの文ペアタスクで半教師ありおよび完全教師ありの設定で実験を行い、従来の続けてPretrainingすることが必ずしも利益をもたらすわけではなく、文ペアタスクの場合やprompt-based FTが使用される場合には悪影響を与えることが分かった
– これらの問題を解決するため、Prompt-based Continued Pre-training（PCP）を提案した。これは、instruction tuningのアイデアを従来の続けてPretrainingに組み合わせたものである。このアプローチは、目標タスクのfine-tuningの前に、タスク関連のテキストとpromptテンプレートの両方をLMに提示することで、prompt-based FTのパフォーマンスを向上させることを目的としている。
– 21のベンチマークでの実証評価により、PCPは半教師ありおよび完全教師ありの設定の両方で、最大20.1％の絶対値でstate-of-the-art prompt-based FT手法のパフォーマンスを改善することができることを示した。
– また、PCPを使用したprompt-based FTは、反復プロセスや追加のデータ拡張の必要性を排除することで、state-of-the-artの半教師ありアプローチよりもシンプルな方法で、パフォーマンスを向上させることができることが分かった。
– さらに、当研究での分析により、PCPのパフォーマンス下限を探索し、PCPの利点がモデルサイズやデータセットの異なるサイズにわたって持続することが明らかになった。

要約(オリジナル)

Language models (LMs) trained on vast quantities of unlabelled data have greatly advanced the field of natural language processing (NLP). In this study, we re-visit the widely accepted notion in NLP that continued pre-training LMs on task-related texts improves the performance of fine-tuning (FT) in downstream tasks. Through experiments on eight single-sentence tasks and eight sentence-pair tasks in both semi-supervised and fully-supervised settings, we find that conventional continued pre-training does not consistently provide benefits and can even be detrimental for sentence-pair tasks or when prompt-based FT is used. To tackle these issues, we propose Prompt-based Continued Pre-training (PCP), which combines the idea of instruction tuning with conventional continued pre-training. Our approach aims to improve the performance of prompt-based FT by presenting both task-related texts and prompt templates to LMs through unsupervised pre-training objectives before fine-tuning for the target task. Our empirical evaluations on 21 benchmarks demonstrate that the PCP consistently improves the performance of state-of-the-art prompt-based FT approaches (up to 20.1% absolute) in both semi-supervised and fully-supervised settings, even with only hundreds of unlabelled examples. Additionally, prompt-based FT with the PCP outperforms state-of-the-art semi-supervised approaches with greater simplicity, eliminating the need for an iterative process and extra data augmentation. Our further analysis explores the performance lower bound of the PCP and reveals that the advantages of PCP persist across different sizes of models and datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI