Boosting Prompt-Based Self-Training With Mapping-Free Automatic Verbalizer for Multi-Class Classification

要約

最近、プロンプトベースの微調整は、少数ショットのテキスト分類タスクの中核技術として大きな関心を集めています。
このアプローチでは、マスク言語モデリング (MLM) の目標に合わせて微調整の目標を再定式化します。
ラベルのないデータを活用するプロンプトベースの自己トレーニングは、二値および三クラス分類においてより高い効果を示しています。
ただし、マルチクラス分類のためのプロンプトベースの自己トレーニングは、現実世界のシナリオへの重要な適用可能性にもかかわらず、十分に調査されていません。
さらに、現在の方法をマルチクラス分類に拡張すると、MLM 予測からクラスごとに手動で事前定義された単一ラベルの単語の予測値を抽出するバーバライザが問題になります。
その結果、マッピングフリー自動バーバライザー (MAV) と呼ばれる、新しく効率的なバーバライザー構造を導入します。
完全に接続された 2 つのレイヤーで構成される MAV は、MLM 予測から得られるすべての情報を活用して、分類に必要な単語の特徴を自動的に抽出するトレーニング可能な言語化ツールとして機能します。
5 つのマルチクラス分類データセットに関する実験結果は、MAV の優れた自己トレーニング効果を示しています。

要約(オリジナル)

Recently, prompt-based fine-tuning has garnered considerable interest as a core technique for few-shot text classification task. This approach reformulates the fine-tuning objective to align with the Masked Language Modeling (MLM) objective. Leveraging unlabeled data, prompt-based self-training has shown greater effectiveness in binary and three-class classification. However, prompt-based self-training for multi-class classification has not been adequately investigated, despite its significant applicability to real-world scenarios. Moreover, extending current methods to multi-class classification suffers from the verbalizer that extracts the predicted value of manually pre-defined single label word for each class from MLM predictions. Consequently, we introduce a novel, efficient verbalizer structure, named Mapping-free Automatic Verbalizer (MAV). Comprising two fully connected layers, MAV serves as a trainable verbalizer that automatically extracts the requisite word features for classification by capitalizing on all available information from MLM predictions. Experimental results on five multi-class classification datasets indicate MAV’s superior self-training efficacy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google