Contrastive Demonstration Tuning for Pre-trained Language Models

要約

事前トレーニングされた言語モデルは、特にデータ量が少ないシナリオにおいて、テキストのプロンプトやデモンストレーションによって効果的に刺激することができます。
最近の研究は、離散的または連続的なプロンプトや最適化された言語化ツールを自動的に検索することに焦点を当てていますが、デモンストレーションのための研究はまだ限られています。
具体的には、プロンプトチューニングの最終パフォーマンスを優れたものにするためには、デモンストレーション例が非常に重要です。
この論文では、デモのサンプリングを必要としない、コントラスト デモンストレーション チューニングと呼ばれる、プラグイン可能で拡張可能で効率的な新しいアプローチを提案します。
さらに、提案されたアプローチは次のとおりです。(i) 以前のプロンプト チューニング アプローチに組み込む。
(ii) 多数のカテゴリを含む広範な分類タスクに拡張されます。
16 個のデータセットに関する実験結果は、以前のアプローチである LM-BFF および P チューニングと統合された私たちの方法がより優れたパフォーマンスを生み出すことができることを示しています。
コードは https://github.com/zjunlp/PromptKG/tree/main/research/Demo-Tuning で入手できます。

要約(オリジナル)

Pretrained language models can be effectively stimulated by textual prompts or demonstrations, especially in low-data scenarios. Recent works have focused on automatically searching discrete or continuous prompts or optimized verbalizers, yet studies for the demonstration are still limited. Concretely, the demonstration examples are crucial for an excellent final performance of prompt-tuning. In this paper, we propose a novel pluggable, extensible, and efficient approach named contrastive demonstration tuning, which is free of demonstration sampling. Furthermore, the proposed approach can be: (i) Plugged into any previous prompt-tuning approaches; (ii) Extended to widespread classification tasks with a large number of categories. Experimental results on 16 datasets illustrate that our method integrated with previous approaches LM-BFF and P-tuning can yield better performance. Code is available in https://github.com/zjunlp/PromptKG/tree/main/research/Demo-Tuning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google