KnowPrompt: Knowledge-aware Prompt-tuning with Synergistic Optimization for Relation Extraction

要約

最近、プロンプトチューニングは、特定の数ショット分類タスクに対して有望な結果を達成しました。
プロンプト チューニングの中心となるアイデアは、テキスト部分 (つまり、テンプレート) を入力に挿入し、分類タスクをマスクされた言語モデリング問題に変換することです。
ただし、関係抽出の場合、適切なプロンプト テンプレートを決定するにはその分野の専門知識が必要であり、適切なラベル単語を取得するのは面倒で時間がかかります。
さらに、関係ラベルの間には、無視できない意味論的および事前知識が豊富に存在します。
この目的を達成するために、関係抽出のためのプロンプトチューニングに関係ラベル間の知識を組み込むことに焦点を当て、相乗的な最適化を備えた知識を意識したプロンプトチューニングアプローチ（KnowPrompt）を提案します。
具体的には、関係ラベルに含まれる潜在的な知識を、学習可能な仮想タイプの単語と応答単語を使用して迅速な構築に注入します。
次に、構造化された制約を使用してそれらの表現を相乗的に最適化します。
標準および低リソース設定の 5 つのデータセットに関する広範な実験結果は、私たちのアプローチの有効性を示しています。
私たちのコードとデータセットは、再現性のために https://github.com/zjunlp/KnowPrompt で入手できます。

要約(オリジナル)

Recently, prompt-tuning has achieved promising results for specific few-shot classification tasks. The core idea of prompt-tuning is to insert text pieces (i.e., templates) into the input and transform a classification task into a masked language modeling problem. However, for relation extraction, determining an appropriate prompt template requires domain expertise, and it is cumbersome and time-consuming to obtain a suitable label word. Furthermore, there exists abundant semantic and prior knowledge among the relation labels that cannot be ignored. To this end, we focus on incorporating knowledge among relation labels into prompt-tuning for relation extraction and propose a Knowledge-aware Prompt-tuning approach with synergistic optimization (KnowPrompt). Specifically, we inject latent knowledge contained in relation labels into prompt construction with learnable virtual type words and answer words. Then, we synergistically optimize their representation with structured constraints. Extensive experimental results on five datasets with standard and low-resource settings demonstrate the effectiveness of our approach. Our code and datasets are available in https://github.com/zjunlp/KnowPrompt for reproducibility.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google