Relation Extraction as Open-book Examination: Retrieval-enhanced Prompt Tuning

要約

事前トレーニングされた言語モデルは、優れた少数ショット学習能力を実証することで、関係抽出に大きく貢献しました。
ただし、関係抽出のための迅速な調整方法は、依然として、これらのまれなパターンまたは困難なパターンに一般化できない可能性があります。
前述のパラメトリック学習パラダイムは、トレーニング データをブックとして、推論をクロースブック テストとして考えることができることに注意してください。
これらのロングテールまたはハード パターンは、ショット数が少ない場合にはパラメータに記憶することはほとんどできません。
この目的を達成するために、我々は RE をオープンブック検査とみなして、関係抽出のための検索強化プロンプトチューニングの新しいセミパラメトリックパラダイムを提案します。
プロンプトベースのインスタンス表現と、記憶されたキーと値のペアとして対応する関係ラベルに関する検索用のオープンブック データストアを構築します。
推論中、モデルは、データストア上のノンパラメトリック最近傍分布を使用して PLM のベース出力を線形補間することにより、関係を推論できます。
このようにして、私たちのモデルは、トレーニング中に重みに保存された知識を通じて関係を推測するだけでなく、オープンブック データストア内のサンプルを巻き戻してクエリすることによって意思決定を支援します。
ベンチマーク データセットでの広範な実験により、私たちの手法が標準の教師あり設定と少数ショット設定の両方で最先端を達成できることが示されました。
コードは https://github.com/zjunlp/PromptKG/tree/main/research/RetrievalRE で入手できます。

要約(オリジナル)

Pre-trained language models have contributed significantly to relation extraction by demonstrating remarkable few-shot learning abilities. However, prompt tuning methods for relation extraction may still fail to generalize to those rare or hard patterns. Note that the previous parametric learning paradigm can be viewed as memorization regarding training data as a book and inference as the close-book test. Those long-tailed or hard patterns can hardly be memorized in parameters given few-shot instances. To this end, we regard RE as an open-book examination and propose a new semiparametric paradigm of retrieval-enhanced prompt tuning for relation extraction. We construct an open-book datastore for retrieval regarding prompt-based instance representations and corresponding relation labels as memorized key-value pairs. During inference, the model can infer relations by linearly interpolating the base output of PLM with the non-parametric nearest neighbor distribution over the datastore. In this way, our model not only infers relation through knowledge stored in the weights during training but also assists decision-making by unwinding and querying examples in the open-book datastore. Extensive experiments on benchmark datasets show that our method can achieve state-of-the-art in both standard supervised and few-shot settings. Code are available in https://github.com/zjunlp/PromptKG/tree/main/research/RetrievalRE.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google