Schema-aware Reference as Prompt Improves Data-Efficient Knowledge Graph Construction

要約

タイトル：プロンプト指向学習を利用したスキーマ適応参照によるデータ効率の高い知識グラフの構築

要約：

– 事前学習済み言語モデルの発展に伴い、データ効率の高い知識グラフの構築のための多くのプロンプト指向アプローチが提案され、印象的な性能を達成しています。
– しかし、既存の知識グラフ構築のためのプロンプト指向学習方法は、以下のような潜在的な制限にまだ影響を受けます：(i) 自然言語と事前に定義されたスキーマに基づく出力構造化知識の間の意味的ギャップがあるため、モデルは制約されたテンプレートで意味的知識を完全に活用できません。(ii) ローカル個々のインスタンスで表現学習をすることは、不十分な特徴で与えられ、事前学習済み言語モデルの潜在的な類推能力を引き出すことができません。
– これらの観察から着想を得て、スキーマ適応参照(RAP)を取得するための検索増強アプローチを提案し、モデル不可知であるため既存の手法に簡単に追加することができます。RAPは、ヒューマンアノテーションデータや弱監視データから継承されたスキーマと知識を、各サンプルのプロンプトとして動的に利用することができます。
– 実験結果によりますと、RAPが統合された既存の手法は、関係トリプル抽出とイベント抽出の5つのデータセットにおいて、低リソース設定で印象的な性能向上を達成することができることが示されています。コードは、https://github.com/zjunlp/RAPにあります。

要約(オリジナル)

With the development of pre-trained language models, many prompt-based approaches to data-efficient knowledge graph construction have been proposed and achieved impressive performance. However, existing prompt-based learning methods for knowledge graph construction are still susceptible to several potential limitations: (i) semantic gap between natural language and output structured knowledge with pre-defined schema, which means model cannot fully exploit semantic knowledge with the constrained templates; (ii) representation learning with locally individual instances limits the performance given the insufficient features, which are unable to unleash the potential analogical capability of pre-trained language models. Motivated by these observations, we propose a retrieval-augmented approach, which retrieves schema-aware Reference As Prompt (RAP), for data-efficient knowledge graph construction. It can dynamically leverage schema and knowledge inherited from human-annotated and weak-supervised data as a prompt for each sample, which is model-agnostic and can be plugged into widespread existing approaches. Experimental results demonstrate that previous methods integrated with RAP can achieve impressive performance gains in low-resource settings on five datasets of relational triple extraction and event extraction for knowledge graph construction. Code is available in https://github.com/zjunlp/RAP.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI