ContrastNet: A Contrastive Learning Framework for Few-Shot Text Classification

要約

フューショット テキスト分類は、最近、エピソードと呼ばれる一連の小さなタスクを使用してソース クラスから転送された知識を使用してターゲット クラスを識別することを目的としたメタ学習パラダイムによって推進されています。
成功にもかかわらず、プロトタイプ ネットワークに基づいてメタ学習器を構築する既存の研究は、類似したクラス間の弁別的なテキスト表現を学習する点で満足のいくものではなく、ラベル予測中に矛盾が生じる可能性があります。
さらに、少数のトレーニング例によって引き起こされる少数ショットテキスト分類におけるタスクレベルおよびインスタンスレベルの過学習問題には十分に取り組んでいません。
この研究では、少数ショットのテキスト分類における識別表現と過剰適合の問題の両方に取り組むために、ContrastNet という名前の対照学習フレームワークを提案します。
ContrastNet は、同じクラスに属するテキスト表現を近づけ、異なるクラスに属するテキスト表現を押しのけ、同時にタスク レベルとインスタンス レベルの両方で教師なしのコントラスト正則化を導入して過学習を防止することを学習します。
8 つの少数ショット テキスト分類データセットの実験では、ContrastNet が現在の最先端モデルよりも優れていることが示されています。

要約(オリジナル)

Few-shot text classification has recently been promoted by the meta-learning paradigm which aims to identify target classes with knowledge transferred from source classes with sets of small tasks named episodes. Despite their success, existing works building their meta-learner based on Prototypical Networks are unsatisfactory in learning discriminative text representations between similar classes, which may lead to contradictions during label prediction. In addition, the tasklevel and instance-level overfitting problems in few-shot text classification caused by a few training examples are not sufficiently tackled. In this work, we propose a contrastive learning framework named ContrastNet to tackle both discriminative representation and overfitting problems in few-shot text classification. ContrastNet learns to pull closer text representations belonging to the same class and push away text representations belonging to different classes, while simultaneously introducing unsupervised contrastive regularization at both task-level and instance-level to prevent overfitting. Experiments on 8 few-shot text classification datasets show that ContrastNet outperforms the current state-of-the-art models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google