TransPrompt v2: A Transferable Prompting Framework for Cross-task Text Classification

要約

テキストの分類は、自然言語処理 (NLP) において最も重要なタスクの 1 つです。
事前トレーニング済み言語モデル (PLM) による最近の進歩は、このタスクにおいて目覚ましい成功を収めています。
ただし、PLM によって得られる満足のいく結果は、タスク固有の大量のラベル付きデータに大きく依存しており、データ アクセスとプライバシーの制約により、多くのアプリケーション シナリオでは実現できない可能性があります。
最近提案されたプロンプトベースの微調整パラダイムは、タスク固有のテンプレートを使用した少数ショット テキスト分類の PLM のパフォーマンスを向上させます。
しかし、相互強化を目的として、タスク間で刺激的な知識をどのように伝達できるかは不明です。
我々は、同様のまたは離れたテキスト分類タスクにわたる少数ショット学習のための新しい転送可能なプロンプト フレームワークである TransPrompt v2 を提案します。
同様のタスク間で学習するために、マルチタスクのメタ知識獲得 (MMA) 手順を採用して、タスク間で伝達可能な知識を獲得するメタ学習者をトレーニングします。
離れたタスク間で学習するために、タスク タイプの説明をプロンプトにさらに挿入し、複数の離れたタスク間のタイプ内およびタイプ間プロンプトの埋め込みをキャプチャします。
さらに、訓練されたメタ学習者がよりタスクに依存せず、どのタスクに対しても偏見を持たないようにするために、2 つのバイアス除去手法がさらに設計されています。
その後、パラメータの初期化を改善することで、メタ学習器をそれぞれの特定のタスクに適応させることができます。
広範な実験により、TransPrompt v2 は複数の NLP タスクおよびデータセットに対して単一タスクおよびクロスタスクの強力なベースラインよりも優れたパフォーマンスを発揮することが示されています。
さらに、メタ学習者がこれまで目に見えなかったタスクで PLM のパフォーマンスを効果的に向上できることを示します。
さらに、TransPrompt v2 は、完全なトレーニング セットで学習する場合、強力な微調整ベースラインよりも優れたパフォーマンスを発揮します。

要約(オリジナル)

Text classification is one of the most imperative tasks in natural language processing (NLP). Recent advances with pre-trained language models (PLMs) have shown remarkable success on this task. However, the satisfying results obtained by PLMs heavily depend on the large amounts of task-specific labeled data, which may not be feasible in many application scenarios due to data access and privacy constraints. The recently-proposed prompt-based fine-tuning paradigm improves the performance of PLMs for few-shot text classification with task-specific templates. Yet, it is unclear how the prompting knowledge can be transferred across tasks, for the purpose of mutual reinforcement. We propose TransPrompt v2, a novel transferable prompting framework for few-shot learning across similar or distant text classification tasks. For learning across similar tasks, we employ a multi-task meta-knowledge acquisition (MMA) procedure to train a meta-learner that captures the cross-task transferable knowledge. For learning across distant tasks, we further inject the task type descriptions into the prompt, and capture the intra-type and inter-type prompt embeddings among multiple distant tasks. Additionally, two de-biasing techniques are further designed to make the trained meta-learner more task-agnostic and unbiased towards any tasks. After that, the meta-learner can be adapted to each specific task with better parameters initialization. Extensive experiments show that TransPrompt v2 outperforms single-task and cross-task strong baselines over multiple NLP tasks and datasets. We further show that the meta-learner can effectively improve the performance of PLMs on previously unseen tasks. In addition, TransPrompt v2 also outperforms strong fine-tuning baselines when learning with full training sets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google