ConsPrompt: Exploiting Contrastive Samples for Fewshot Prompt Learning

要約

プロンプトは最近、事前トレーニングされた言語モデルを利用する効果的な言語ツールとなっています。
ただし、ショット数が少ないシナリオでは、プロンプトのデザインの微妙な変更により結果が常に大きく異なり、プロンプトのデザインは現在の限られたサンプルに簡単にオーバーフィットすることもあります。
これを軽減するために、適切な対照的なサンプルと複数の対照的な学習方法を利用して、より堅牢なプロンプトの表現を実現する方法を検討します。
したがって、差分対比学習を実現するために、プロンプトエンコーディングネットワーク、対比サンプリングモジュール、対比スコアリングモジュールと組み合わせた対比プロンプトモデルConsPromptが導入されています。
私たちの結果は、さまざまな数ショット設定で最先端のパフォーマンスを示しており、アブレーション実験では、プロンプトベースの微調整プロセスで多段階の対照学習を利用する有効性も証明しています。

要約(オリジナル)

Prompt recently have become an effective linguistic tool on utilizing the pre-trained language models. However, in few-shot scenarios, subtle changes of prompt’s design always make the result widely different, and the prompt design is also easy to overfit the current limited samples. To alleviate this, we explore how to utilize suitable contrastive samples and multiple contrastive learning methods to realize a more robust prompt’s representation. Therefore, the contrastive prompt model ConsPrompt combining with prompt encoding network, contrastive sampling modules, and contrastive scoring modules are introduced to realize differential contrastive learning. Our results exhibit the state-of-the-art performance in different few-shot settings, and the ablation experiments also certificate the effectiveness in utilizing multi-degree contrastive learning in prompt-based fine-tuning process.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google