LabelPrompt: Effective Prompt-based Learning for Relation Classification

要約

最近、プロンプトベースの学習は、テンプレートをモデル入力に挿入することにより、多くの自然言語処理 (NLP) タスクで非常に一般的なソリューションになりました。これは、タスクを穴埋めスタイルに変換して、事前トレーニング済み言語モデル間の違いを滑らかにします。
(PLM) と現在のタスク。
しかし、関係分類の場合、マスクされた出力を関係ラベルにマッピングすることは困難です。これは、意味情報が豊富であるためです。
org:founded_by」.
したがって、事前トレーニング済みのモデルには、関係に適合するのに十分なラベル付きデータが必要です。
この課題を軽減するために、この論文では、関係分類タスク用の新しいプロンプトベースの学習方法、つまり LabelPrompt を提示します。
これは、「GIVE MODEL CHOICES!」という動機による並外れた直感的なアプローチです。
最初に、関係ラベルを表すいくつかの追加のトークンを定義します。これは、これらのトークンをセマンティックな初期化を伴うバーバライザーと見なし、プロンプト テンプレート メソッドでそれらを構築します。
次に、予測された関係と指定されたエンティティの不一致を再検討します。対照的な学習を考慮したエンティティ認識モジュールは、問題を軽減するように設計されています。
最後に、自己注意層に注意クエリ戦略を適用して、プロンプト トークンとシーケンス トークンの 2 種類のトークンを解決します。
提案された戦略は、小さなラベル付きデータしか利用できない場合に、関係分類タスクにおけるプロンプトベースの学習の適応能力を効果的に改善します。
いくつかのベンチマーク データセットで得られた広範な実験結果は、特に少数ショットのシナリオで、提案された LabelPrompt メソッドの優位性を示しています。

要約(オリジナル)

Recently, prompt-based learning has become a very popular solution in many Natural Language Processing (NLP) tasks by inserting a template into model input, which converts the task into a cloze-style one to smoothing out differences between the Pre-trained Language Model (PLM) and the current task. But in the case of relation classification, it is difficult to map the masked output to the relation labels because of its abundant semantic information, e.g. org:founded_by”. Therefore, a pre-trained model still needs enough labelled data to fit the relations. To mitigate this challenge, in this paper, we present a novel prompt-based learning method, namely LabelPrompt, for the relation classification task. It is an extraordinary intuitive approach by a motivation: “GIVE MODEL CHOICES!”. First, we define some additional tokens to represent the relation labels, which regards these tokens as the verbalizer with semantic initialisation and constructs them with a prompt template method. Then we revisit the inconsistency of the predicted relation and the given entities, an entity-aware module with the thought of contrastive learning is designed to mitigate the problem. At last, we apply an attention query strategy to self-attention layers to resolve two types of tokens, prompt tokens and sequence tokens. The proposed strategy effectively improves the adaptation capability of prompt-based learning in the relation classification task when only a small labelled data is available. Extensive experimental results obtained on several bench-marking datasets demonstrate the superiority of the proposed LabelPrompt method, particularly in the few-shot scenario.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google