Zero-Shot Continuous Prompt Transfer: Generalizing Task Semantics Across Language Models

要約

自然言語処理 (NLP) の迅速な調整は、大規模な言語モデルを特定のタスクに適応させるための方法としてますます一般的になってきています。
ただし、これらのプロンプト、特に継続的なプロンプトを異なるモデル間で転送できるかどうかは依然として課題です。
この研究では、ソース プロンプトを相対空間にエンコードし、対応するターゲット プロンプトを検索してターゲット モデルに転送する、ゼロショット連続プロンプト転送方法を提案します。
実験結果は私たちの方法の有効性を確認し、連続プロンプトの「タスクセマンティクス」がさまざまな言語モデルにわたって一般化できることを示しています。
さらに、複数のソースモデルからの「タスクセマンティクス」を組み合わせることで、転送の一般化可能性をさらに高めることができることがわかりました。

要約(オリジナル)

Prompt tuning in natural language processing (NLP) has become an increasingly popular method for adapting large language models to specific tasks. However, the transferability of these prompts, especially continuous prompts, between different models remains a challenge. In this work, we propose a zero-shot continuous prompt transfer method, where source prompts are encoded into relative space and the corresponding target prompts are searched for transferring to target models. Experimental results confirm the effectiveness of our method, showing that ‘task semantics’ in continuous prompts can be generalized across various language models. Moreover, we find that combining ‘task semantics’ from multiple source models can further enhance the generalizability of transfer.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google