Task Prompt Vectors: Effective Initialization through Multi-Task Soft-Prompt Transfer

要約

迅速なチューニングは、大規模言語モデル (LLM) をトレーニングするための効率的なソリューションです。
ただし、現在のソフト プロンプト ベースの方法では、マルチタスクのモジュール性が犠牲になることが多く、新しく追加されたタスクごとにトレーニング プロセスを完全または部分的に繰り返す必要があります。
タスク ベクトルに関する最近の研究では、望ましいマルチタスク パフォーマンスを達成するためにモデル全体の重みに算術演算を適用しましたが、ソフト プロンプトに対する同様のアプローチはまだ欠けています。
この目的を達成するために、調整されたソフト プロンプトの重みとそのランダムな初期化の間の要素ごとの違いによって作成されるタスク プロンプト ベクトルを導入します。
12 個の NLU データセットに関する実験結果は、タスク プロンプト ベクトルを低リソース設定で使用して、同様のタスクでプロンプト チューニングを効果的に初期化できることを示しています。
さらに、タスク プロンプト ベクトルが、2 つの異なる言語モデル アーキテクチャでのプロンプト チューニングのランダムな初期化から独立していることを示します。
これにより、さまざまなタスクからの事前トレーニングされたベクトルを使用した迅速な演算が可能になります。
このようにして、複数のタスクからのタスク プロンプト ベクトルを算術加算することにより、最先端のベースラインに代わる競争力のある代替手段を提供します。

要約(オリジナル)

Prompt tuning is an efficient solution for training large language models (LLMs). However, current soft-prompt-based methods often sacrifice multi-task modularity, requiring the training process to be fully or partially repeated for each newly added task. While recent work on task vectors applied arithmetic operations on full model weights to achieve the desired multi-task performance, a similar approach for soft-prompts is still missing. To this end, we introduce Task Prompt Vectors, created by element-wise difference between weights of tuned soft-prompts and their random initialization. Experimental results on 12 NLU datasets show that task prompt vectors can be used in low-resource settings to effectively initialize prompt tuning on similar tasks. In addition, we show that task prompt vectors are independent of the random initialization of prompt tuning on 2 different language model architectures. This allows prompt arithmetics with the pre-trained vectors from different tasks. In this way, we provide a competitive alternative to state-of-the-art baselines by arithmetic addition of task prompt vectors from multiple tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google