Labels Need Prompts Too Mask Matching for Natural Language Understanding Tasks

要約

テキストのラベル名 (説明) は通常、多くの自然言語理解 (NLU) タスクにおいて意味的に豊富です。
この論文では、モデル入力を強化するために広く使用されているプロンプト手法を初めてレーベル側に組み込みました。
具体的には、入力にプロンプ​​トとそのラベルを別のプロンプトで装備し、それらのマスク表現を照合することで予測を行うマスク マッチング手法を提案します。
14 のデータセットを使用した 8 つの NLU タスクでメソッドを広範囲に評価しました。
実験結果は、マスク マッチングがファインチューニングや従来のプロンプト チューニングよりも大幅に優れたパフォーマンスを示し、いくつかのデータセットで最先端のパフォーマンスを確立していることを示しています。
マスク マッチングは、大量のラベル数と有益なラベル名を含む NLU タスクの処理に特に優れています。
レーベル側のプロンプトを調査する先駆的な取り組みとして、今後の研究のための未解決の問題についても議論します。

要約(オリジナル)

Textual label names (descriptions) are typically semantically rich in many natural language understanding (NLU) tasks. In this paper, we incorporate the prompting methodology, which is widely used to enrich model input, into the label side for the first time. Specifically, we propose a Mask Matching method, which equips an input with a prompt and its label with another, and then makes predictions by matching their mask representations. We evaluate our method extensively on 8 NLU tasks with 14 datasets. The experimental results show that Mask Matching significantly outperforms its counterparts of fine-tuning and conventional prompt-tuning, setting up state-of-the-art performances in several datasets. Mask Matching is particularly good at handling NLU tasks with large label counts and informative label names. As pioneering efforts that investigate the label-side prompt, we also discuss open issues for future study.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google