LabelPrompt: Effective Prompt-based Learning for Relation Classification

要約

最近、プロンプトベースの学習は、事前トレーニング済み言語モデル (PLM) を下流タスクとより適切に調整するためにクローズ形式の形式に再定式化することで、多くの自然言語処理 (NLP) タスクで人気が高まっています。
ただし、このアプローチを関係分類に適用すると、特有の課題が生じます。
具体的には、マスクされたトークンを満たす自然言語単語を意味関係ラベル (\textit{e.g.} \textit{“org:founded\_by}”) と関連付けることは困難です。
この課題に対処するために、この論文では、関係分類タスク用の新しいプロンプトベースの学習方法、つまり LabelPrompt を紹介します。
「モデルの選択を与えてください!」という直感に動機付けられ、最初に関係ラベルを表す追加のトークンを定義します。これらのトークンは、これらのトークンをセマンティック初期化を備えた言語化ツールとみなして、プロンプト テンプレート メソッドを使用して明示的に構築します。
次に、予測された関係と特定のエンティティの間の不一致を軽減するために、対照学習を備えたエンティティ認識モジュールを実装します。
最後に、セルフ アテンション レイヤー内でアテンション クエリ戦略を実行して、プロンプト トークンとシーケンス トークンを区別します。
これらの戦略を組み合わせると、特に小さなラベル付きデータセットしか利用できない場合に、プロンプトベースの学習の適応性が高まります。
ベンチマーク データセットの包括的な実験により、特にショット数が少ないシナリオにおいて、私たちの手法の優位性が実証されました。

要約(オリジナル)

Recently, prompt-based learning has gained popularity across many natural language processing (NLP) tasks by reformulating them into a cloze-style format to better align pre-trained language models (PLMs) with downstream tasks. However, applying this approach to relation classification poses unique challenges. Specifically, associating natural language words that fill the masked token with semantic relation labels (\textit{e.g.} \textit{“org:founded\_by}”) is difficult. To address this challenge, this paper presents a novel prompt-based learning method, namely LabelPrompt, for the relation classification task. Motivated by the intuition to “GIVE MODEL CHOICES!”, we first define additional tokens to represent relation labels, which regard these tokens as the verbaliser with semantic initialisation and explicitly construct them with a prompt template method. Then, to mitigate inconsistency between predicted relations and given entities, we implement an entity-aware module with contrastive learning. Last, we conduct an attention query strategy within the self-attention layer to differentiates prompt tokens and sequence tokens. Together, these strategies enhance the adaptability of prompt-based learning, especially when only small labelled datasets is available. Comprehensive experiments on benchmark datasets demonstrate the superiority of our method, particularly in the few-shot scenario.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google