ReLiK: Retrieve and LinK, Fast and Accurate Entity Linking and Relation Extraction on an Academic Budget

要約

エンティティリンク（EL）と関係抽出（RE）は、自然言語処理における基本的なタスクであり、幅広いアプリケーションで重要なコンポーネントとして機能します。
このホワイトペーパーでは、ELとREの両方のレトリバーリーダーアーキテクチャであるRelikを提案します。入力テキストが与えられた場合、Retriverモジュールは、テキスト内に表示される可能性のある候補エンティティまたは関係の識別を引き受けます。
その後、リーダーモジュールは、適切な検索されたエンティティまたは関係を識別し、対応するテキストスパンとの整合を確立するように任されます。
特に、テキストとともに候補者のエンティティまたは関係を組み込んだ革新的な入力表現を提唱し、単一のフォワードパスでエンティティをリンクまたは抽出し、事前に訓練された言語モデルのコンテキスト化機能を完全に活用できるようにします。
ELとREの策定は、学術予算トレーニングを使用しながら、競技者と比較して最大40倍の推論速度で、ドメイン内およびドメイン外のベンチマークの両方で最先端のパフォーマンスを達成しています。
最後に、情報抽出（CIE）、つまりEL + RE、およびエンティティと関係を同時に抽出する共有リーダーを採用することにより、新しい最新の最新技術を設定するために、私たちのアーキテクチャをシームレスに使用する方法を示します。

要約(オリジナル)

Entity Linking (EL) and Relation Extraction (RE) are fundamental tasks in Natural Language Processing, serving as critical components in a wide range of applications. In this paper, we propose ReLiK, a Retriever-Reader architecture for both EL and RE, where, given an input text, the Retriever module undertakes the identification of candidate entities or relations that could potentially appear within the text. Subsequently, the Reader module is tasked to discern the pertinent retrieved entities or relations and establish their alignment with the corresponding textual spans. Notably, we put forward an innovative input representation that incorporates the candidate entities or relations alongside the text, making it possible to link entities or extract relations in a single forward pass and to fully leverage pre-trained language models contextualization capabilities, in contrast with previous Retriever-Reader-based methods, which require a forward pass for each candidate. Our formulation of EL and RE achieves state-of-the-art performance in both in-domain and out-of-domain benchmarks while using academic budget training and with up to 40x inference speed compared to competitors. Finally, we show how our architecture can be used seamlessly for Information Extraction (cIE), i.e. EL + RE, and setting a new state of the art by employing a shared Reader that simultaneously extracts entities and relations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google