ConsPrompt: Exploiting Contrastive Samples for Fewshot Prompt Learning

要約

プロンプトは、事前トレーニングされた言語モデルを利用するための効果的な言語ツールとなっています。
ただし、ショット数が少ないシナリオでは、プロンプト設計の微妙な変更によって常に結果が大きく異なり、また、プロンプト学習方法により、限られたサンプルが簡単にオーバーフィットしてしまいます。
これを軽減するために、適切な対比サンプルと多次対比学習方法を利用して、プロンプト表現の堅牢性を向上させることを検討します。
したがって、提案されたConspromptは、プロンプトエンコーディングネットワーク、対比サンプリングモジュール、および対比スコアリングモジュールと組み合わせて、差分対比学習を実現するために導入されます。
私たちの結果は、さまざまな数ショット設定で最先端のパフォーマンスを示しており、アブレーション実験では、プロンプトベースの微調整プロセスで多段階の対照学習を利用する有効性も証明しています。

要約(オリジナル)

The prompt has become an effective linguistic tool for utilizing pre-trained language models. However, in few-shot scenarios, subtle changes in the prompt design always make the result widely different, and the prompt learning methods also make it easy to overfit the limited samples. To alleviate this, we explore utilizing suitable contrastive samples and multi-degree contrastive learning methods to improve the robustness of the prompt representation. Therefore, the proposed Consprompt combined with the prompt encoding network, contrastive sampling modules, and contrastive scoring modules, is introduced to realize differential contrastive learning. Our results exhibit state-of-the-art performance in different few-shot settings, and the ablation experiments also certify the effectiveness of utilizing multi-degree contrastive learning in the prompt-based fine-tuning process.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google