Effectiveness of Data Augmentation for Prefix Tuning with Limited Data

要約

最近の研究では、大規模で凍結された事前学習済み言語モデル上で連続プロンプトをチューニングすること（すなわち、プレフィックスチューニングまたはP-チューニング）が、ファインチューニングと同等またはそれ以上の性能をもたらすことが示されている。しかしながら、低データ環境下で学習を改善するための一般的な戦略として考えられてきたデータ増強の文脈におけるこのような手法の有効性は、これまで研究されてこなかった。本論文では、EDA、Back Translation、Mixupといった、タスクに依存しないいくつかのデータ増強技術について、データ不足の下でプリフィックスチューニングを使用した場合の検証を行う。我々は、データ増強はプレフィックスチューニングモデルの性能を高めるために使用できることを示しますが、各技術の有効性は様々であり、特定の方法は、特に大きなモデルを使用する場合やより難しいタスクの場合に、顕著な性能低下をもたらす可能性があることを示しています。上記の挙動を理解するために、我々は実験を行い、一般的にプリフィックスチューニングが、異なるクラスの拡張データから文の埋め込みを分離する能力に限界があり、特に大きく変更されたデータで性能が低下することを明らかにしました。また、単純なコントラスト損失を追加することで、prefix tuningのこのような問題を緩和し、結果として拡張データの性能を向上させることができることを実証する。

要約(オリジナル)

Recent work has demonstrated that tuning continuous prompts on large, frozen pretrained language models (i.e., prefix tuning or P-tuning) can yield performance that is comparable or superior to fine-tuning. Nevertheless, the effectiveness of such methods under the context of data augmentation, which has been considered a common strategy to improve learning under low data regimes, has not be studied. In this paper, we examine several popular task-agnostic data augmentation techniques, i.e., EDA, Back Translation, and Mixup, when using prefix tuning under data scarcity. We show that data augmentation can be used to boost the performance of prefix tuning models, but the effectiveness of each technique varies and certain methods can lead to a notable degradation in performance, particularly when using larger models and on harder tasks. To help understand the above behaviour, we run experiments which reveal how prefix tuning generally presents a limited ability to separate the sentence embeddings from different classes of augmented data, and displays poorer performance on heavily altered data in particular. We also demonstrate that by adding a simple contrastive loss we can help mitigate such issues for prefix tuning, resulting in an improvement to augmented data performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL