Task Prompt Vectors: Effective Initialization through Multi-Task Soft-Prompt Transfer

要約

プロンプトチューニングは、大規模言語モデル(LLM)を学習するためのモジュラーで効率的なソリューションである。プロンプトチューニングの主な利点の一つはタスクのモジュール化であり、マルチタスク問題に適している。しかし、現在のソフトプロンプトベースの手法は、マルチタスクのモジュール性を犠牲にしていることが多く、新しく追加されたタスクごとに学習プロセスを完全に、あるいは部分的に繰り返す必要がある。タスクベクトルに関する最近の研究では、モデルの重みに算術演算を適用することで、望ましいマルチタスク性能を達成しているが、ソフトプロンプトに対する同様のアプローチはまだ見つかっていない。この目的のために、我々は、調整されたソフトプロンプトの重みとランダムな初期化との間の要素ごとの差によって作成されるタスクプロンプトベクトルを導入する。12のNLUデータセットを用いた実験の結果、タスクプロンプトベクトルは低リソース環境において、類似タスクのプロンプトチューニングを効果的に初期化するために使用できることが示された。さらに、タスクプロンプトベクトルはプロンプトチューニングのランダム初期化に依存しないことを示す。これにより、異なるタスクの事前学習済みベクトルを用いたプロンプト演算が可能となる。このようにして、複数のタスクのプロンプトベクトルを算術加算することで、場合によっては最先端のベースラインを上回ることができる。

要約(オリジナル)

Prompt tuning is a modular and efficient solution for training large language models (LLMs). One of its main advantages is task modularity, making it suitable for multi-task problems. However, current soft-prompt-based methods often sacrifice multi-task modularity, requiring the training process to be fully or partially repeated for each newly added task. While recent work on task vectors applied arithmetic operations on full model weights to achieve the desired multi-task performance, a similar approach for soft-prompts is still missing. To this end, we introduce Task Prompt Vectors, created by element-wise difference between weights of tuned soft-prompts and their random initialization. Experimental results on 12 NLU datasets show that task prompt vectors can be used in low-resource settings to effectively initialize prompt tuning on similar tasks. In addition, we show that task prompt vectors are independent of the random initialization of prompt tuning. This allows prompt arithmetics with the pre-trained vectors from different tasks. In this way, by arithmetic addition of task prompt vectors from multiple tasks, we are able to outperform a state-of-the-art baseline in some cases.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL