How Does In-Context Learning Help Prompt Tuning?

要約

大規模な言語モデルの微調整は、その規模が急速に拡大しているため、ますます非現実的になっています。
これにより、凍結されたモデルに少数の調整可能な埋め込みを追加するプロンプト調整 (PT) や、タスクのデモンストレーションが提供されるインコンテキスト学習 (ICL) などのパラメーター効率の高い適応方法の使用が動機付けられます。
追加のトレーニングなしで自然言語でモデルを作成します。
最近、Singhal 等。
(2022) 「命令プロンプトチューニング」(IPT) を提案しました。これは、自然言語のデモンストレーションを学習したプロンプト埋め込みと連結することによって、PT と ICL を組み合わせたものです。
これらの方法はすべて、さまざまなタスクで効果的であることが証明されていますが、それらがどのように相互作用するかは未調査のままです.
このホワイト ペーパーでは、複数のベース言語モデルを使用した 5 つのテキスト生成タスクで ICL、PT、および IPT の有効性を測定することにより、コンテキスト内の例がいつ、どのようにプロンプ​​ト チューニングを改善するかを経験的に研究します。
(1) IPT は \emph{必ずしも PT を上回るわけではなく、実際には、コンテキスト内のデモンストレーションがテスト入力と意味的に類似していることが改善をもたらすことを必要とします。
(2) PT は不安定で分散が大きいが、PT と ICL を (IPT に) 組み合わせることで、5 つのタスクすべての分散が一貫して減少する。
（3）PTを介して特定のソースタスクについて学習したプロンプトは、異なるターゲットタスクのコンテキスト内の例と組み合わせると、肯定的な伝達を示します。
私たちの結果は、特定のタスクに適したパラメーター効率の高い適応方法を選択するための実用的な洞察を提供します。

要約(オリジナル)

Fine-tuning large language models is becoming ever more impractical due to their rapidly-growing scale. This motivates the use of parameter-efficient adaptation methods such as prompt tuning (PT), which adds a small number of tunable embeddings to an otherwise frozen model, and in-context learning (ICL), in which demonstrations of the task are provided to the model in natural language without any additional training. Recently, Singhal et al. (2022) propose “instruction prompt tuning” (IPT), which combines PT with ICL by concatenating a natural language demonstration with learned prompt embeddings. While all of these methods have proven effective on different tasks, how they interact with each other remains unexplored. In this paper, we empirically study when and how in-context examples improve prompt tuning by measuring the effectiveness of ICL, PT, and IPT on five text generation tasks with multiple base language models. We observe that (1) IPT does \emph{not} always outperform PT, and in fact requires the in-context demonstration to be semantically similar to the test input to yield improvements; (2) PT is unstable and exhibits high variance, but combining PT and ICL (into IPT) consistently reduces variance across all five tasks; and (3) prompts learned for a specific source task via PT exhibit positive transfer when paired with in-context examples of a different target task. Our results offer actionable insights on choosing a suitable parameter-efficient adaptation method for a given task.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google