Schema-aware Reference as Prompt Improves Data-Efficient Knowledge Graph Construction

要約

事前トレーニングされた言語モデルの開発により、データ効率の高いナレッジ グラフ構築に対するプロンプトベースのアプローチが数多く提案され、優れたパフォーマンスを達成しました。
ただし、ナレッジ グラフ構築のための既存のプロンプトベースの学習方法には、依然としていくつかの潜在的な制限が存在します。 (i) 自然言語と、事前定義されたスキーマを使用した出力構造化知識との間の意味論的なギャップ。これは、モデルが制約付きテンプレートでは意味論的な知識を完全に活用できないことを意味します。
;
(ii) ローカルの個々のインスタンスを使用した表現学習では、機能が不十分なためパフォーマンスが制限され、事前トレーニングされた言語モデルの潜在的な類推能力を解き放つことができません。
これらの観察に基づいて、データ効率の高いナレッジ グラフ構築のために、スキーマを意識した Reference As Prompt (RAP) を取得する、検索拡張アプローチを提案します。
人間が注釈を付けた弱い教師付きデータから継承したスキーマと知識を各サンプルのプロンプトとして動的に活用でき、モデルに依存せず、広範な既存のアプローチに組み込むことができます。
実験結果は、RAP と統合された以前の方法が、ナレッジ グラフ構築のためのリレーショナル トリプル抽出とイベント抽出の 5 つのデータセットに対して、低リソース設定で目覚ましいパフォーマンス向上を達成できることを示しています。
コードは https://github.com/zjunlp/RAP で入手できます。

要約(オリジナル)

With the development of pre-trained language models, many prompt-based approaches to data-efficient knowledge graph construction have been proposed and achieved impressive performance. However, existing prompt-based learning methods for knowledge graph construction are still susceptible to several potential limitations: (i) semantic gap between natural language and output structured knowledge with pre-defined schema, which means model cannot fully exploit semantic knowledge with the constrained templates; (ii) representation learning with locally individual instances limits the performance given the insufficient features, which are unable to unleash the potential analogical capability of pre-trained language models. Motivated by these observations, we propose a retrieval-augmented approach, which retrieves schema-aware Reference As Prompt (RAP), for data-efficient knowledge graph construction. It can dynamically leverage schema and knowledge inherited from human-annotated and weak-supervised data as a prompt for each sample, which is model-agnostic and can be plugged into widespread existing approaches. Experimental results demonstrate that previous methods integrated with RAP can achieve impressive performance gains in low-resource settings on five datasets of relational triple extraction and event extraction for knowledge graph construction. Code is available in https://github.com/zjunlp/RAP.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google