Effective Structured Prompting by Meta-Learning and Representative Verbalizer

要約

事前トレーニングされたマスク言語モデル (MLM) の迅速な調整により、ラベル付きの例がほとんどない自然言語処理タスクで有望なパフォーマンスが示されました。
下流タスクのプロンプトを調整し、言語化ツールを使用して、予測されたトークンとラベル予測を橋渡しします。
トレーニング データが限られているため、迅速な調整には迅速な初期化が重要です。
最近、MetaPrompting (Hou et al., 2022) はメタ学習を使用して、すべてのタスク固有のプロンプトの共有初期化を学習します。
ただし、タスクが複雑な場合、すべてのタスクとサンプルに対して適切なプロンプトを取得するには、1 回の初期化では不十分です。
さらに、MetaPrompting では MLM 全体を調整する必要があり、MLM は通常大きいため、計算とメモリに大きな負担がかかります。
これらの問題に対処するために、プロンプト プールを使用して、より多くのタスク知識を抽出し、アテンションを通じてインスタンス依存のプロンプトを構築します。
さらに、特徴の埋め込みからラベルの埋め込みを直接構築する新しいソフト言語化ツール (RepVerb) を提案します。
プロンプト プールと RepVerb のメタ学習を組み合わせて、効果的な構造化プロンプトを実現する MetaPrompter を提案します。
MetaPrompter は、プールのみを調整する必要があるため、パラメーター効率が高くなります。
実験結果は、MetaPrompter が最近の最先端のものよりも優れたパフォーマンスを示し、RepVerb が既存のソフト言語化ツールを上回るパフォーマンスを示しています。

要約(オリジナル)

Prompt tuning for pre-trained masked language models (MLM) has shown promising performance in natural language processing tasks with few labeled examples. It tunes a prompt for the downstream task, and a verbalizer is used to bridge the predicted token and label prediction. Due to the limited training data, prompt initialization is crucial for prompt tuning. Recently, MetaPrompting (Hou et al., 2022) uses meta-learning to learn a shared initialization for all task-specific prompts. However, a single initialization is insufficient to obtain good prompts for all tasks and samples when the tasks are complex. Moreover, MetaPrompting requires tuning the whole MLM, causing a heavy burden on computation and memory as the MLM is usually large. To address these issues, we use a prompt pool to extract more task knowledge and construct instance-dependent prompts via attention. We further propose a novel soft verbalizer (RepVerb) which constructs label embedding from feature embeddings directly. Combining meta-learning the prompt pool and RepVerb, we propose MetaPrompter for effective structured prompting. MetaPrompter is parameter-efficient as only the pool is required to be tuned. Experimental results demonstrate that MetaPrompter performs better than the recent state-of-the-arts and RepVerb outperforms existing soft verbalizers.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google