Label-template based Few-Shot Text Classification with Contrastive Learning

要約

学習を学習するためのアルゴリズム フレームワークとして、メタ学習は、少数ショットのテキスト分類に有望なソリューションを提供します。
しかし、既存の研究のほとんどはクラスラベルに十分な注意を払っていません。
プロトタイプネットワークに基づいてメタ学習器を構築する従来の基本フレームワークは、クラス間の分散に大きく依存しており、ノイズの影響を受けやすいです。
これらの制限に対処するために、シンプルで効果的な少数ショットのテキスト分類フレームワークを提案します。
特に、対応するラベル テンプレートは、クラス ラベルの潜在的な値を最大限に活用するために入力文に埋め込まれ、ラベルによって伝えられる意味情報を通じて、より識別力のあるテキスト表現を生成するように事前トレーニングされたモデルを導きます。
ラベル セマンティクスの継続的な影響により、教師あり対比学習を利用して、サポート サンプルとクエリ サンプルの間の相互作用情報をモデル化します。
さらに、重要な意味情報を強調するために、平均化メカニズムがアテンション メカニズムに置き換えられます。
提案されたスキームを検証するために、4 つの典型的なデータセットを使用して、さまざまな方法のパフォーマンスを評価します。
実験結果は、私たちの方法が大幅なパフォーマンスの向上を達成し、数回のショットのテキスト分類タスクで既存の最先端のモデルを上回るパフォーマンスを示していることを示しています。

要約(オリジナル)

As an algorithmic framework for learning to learn, meta-learning provides a promising solution for few-shot text classification. However, most existing research fail to give enough attention to class labels. Traditional basic framework building meta-learner based on prototype networks heavily relies on inter-class variance, and it is easily influenced by noise. To address these limitations, we proposes a simple and effective few-shot text classification framework. In particular, the corresponding label templates are embed into input sentences to fully utilize the potential value of class labels, guiding the pre-trained model to generate more discriminative text representations through the semantic information conveyed by labels. With the continuous influence of label semantics, supervised contrastive learning is utilized to model the interaction information between support samples and query samples. Furthermore, the averaging mechanism is replaced with an attention mechanism to highlight vital semantic information. To verify the proposed scheme, four typical datasets are employed to assess the performance of different methods. Experimental results demonstrate that our method achieves substantial performance enhancements and outperforms existing state-of-the-art models on few-shot text classification tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google