PTP: Boosting Stability and Performance of Prompt Tuning with Perturbation-Based Regularizer

要約

タイトル：PTP：摂動ベースの正則化によるPrompt Tuningの安定性とパフォーマンスの向上

要約：

– Prompt Tuningは、下流の自然言語理解タスクで大きな言語モデルの力を活用することができる
– しかし、以前のPrompt Tuningの方法は、異なるランダムシードのもとで得られるスコアの分散が非常に大きいため、トレーニングの不安定性の問題がある
– この問題を解決するために、従来のPrompt Tuningの損失ランドスケープは、可視化したときに険しいことが明らかになった。これは、入力データのわずかな変化が損失ランドスケープで大きな変動を引き起こす要因となっている。
– この観察に基づいて、損失ランドスケープを滑らかにする摂動ベースの正則化をPrompt Tuningに導入する。新しいアルゴリズムであるPrompt Tuning with Perturbation-based regularizer（PTP）を提案する。摂動ベースの正則化には、ランダムノイズベースとアドバーサリーベースの2種類があり、提案された摂動は、テキスト空間と埋め込み空間の両方で柔軟になっている。
– 広範な実験で、提案された手法がトレーニングを安定化することができることが示されている。新しいアルゴリズムは、SuperGLUEベンチマークで1.94％、FewGLUEベンチマークで2.34％の向上を実現した。

要約(オリジナル)

Recent studies show that prompt tuning can better leverage the power of large language models than fine-tuning on downstream natural language understanding tasks. However, the existing prompt tuning methods have training instability issues, as the variance of scores under different random seeds is quite large. To address this critical problem, we first investigate and find that the loss landscape of vanilla prompt tuning is precipitous when it is visualized, where a slight change of input data can cause a big fluctuation in the loss landscape. This is an essential factor that leads to the instability of prompt tuning. Based on this observation, we introduce perturbation-based regularizers, which can smooth the loss landscape, into prompt tuning. We propose a new algorithm, called Prompt Tuning with Perturbation-based regularizer~(PTP), which can not only alleviate training instability dramatically but also boost the performance of prompt tuning. We design two kinds of perturbation-based regularizers, including random-noise-based and adversarial-based. In particular, our proposed perturbations are flexible on both text space and embedding space. Extensive experiments show the effectiveness of our proposed methods in stabilizing the training. Our new algorithms improve the state-of-the-art prompt tuning methods by 1.94\% and 2.34\% on SuperGLUE and FewGLUE benchmarks, respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI