AutoRE: Document-Level Relation Extraction with Large Language Models

要約

大規模言語モデル (LLM) は、テキストの理解と生成において優れた能力を実証しており、多くの研究者が関係抽出 (RE) を含む情報抽出 (IE) の目的で LLM を利用するようになりました。
それにもかかわらず、既存のメソッドのほとんどは、主に文レベルの関係抽出 (SentRE) タスク用に設計されており、通常、単一の文内の関係とトリプレット ファクトの制限されたセットが含まれます。
さらに、特定のアプローチでは、関係をプロンプト テンプレートに統合された候補の選択肢として扱うことに頼っているため、ドキュメント レベルの関係抽出 (DocRE) タスクに取り組むときに非効率な処理と次善のパフォーマンスが発生します。これには、特定のドキュメント全体に分散された複数の関係とトリプレット ファクトの処理が必要であり、問​​題を引き起こす可能性があります。
明確な課題。
これらの制限を克服するために、RHF (Relation-Head-Facts) と呼ばれる新しい RE 抽出パラダイムを採用するエンドツーエンドの DocRE モデルである AutoRE を導入します。
既存のアプローチとは異なり、AutoRE は既知の関係オプションの仮定に依存しないため、現実世界のシナリオをより反映します。
さらに、Parameters Efficient Fine Tuning (PEFT) アルゴリズム (QLoRA) を使用して、簡単に拡張可能な RE フレームワークを開発しました。
RE-DocRED データセットでの実験では、AutoRE の最高のパフォーマンスが実証され、開発セットとテスト セットで TAG をそれぞれ 10.03\% と 9.03\% 上回り、最先端の結果が得られました。
コードは https://github.com/THUDM/AutoRE で入手でき、デモ ビデオは https://www.youtube.com/watch?v=IhKRsZUAxKk で提供されます。

要約(オリジナル)

Large Language Models (LLMs) have demonstrated exceptional abilities in comprehending and generating text, motivating numerous researchers to utilize them for Information Extraction (IE) purposes, including Relation Extraction (RE). Nonetheless, most existing methods are predominantly designed for Sentence-level Relation Extraction (SentRE) tasks, which typically encompass a restricted set of relations and triplet facts within a single sentence. Furthermore, certain approaches resort to treating relations as candidate choices integrated into prompt templates, leading to inefficient processing and suboptimal performance when tackling Document-Level Relation Extraction (DocRE) tasks, which entail handling multiple relations and triplet facts distributed across a given document, posing distinct challenges. To overcome these limitations, we introduce AutoRE, an end-to-end DocRE model that adopts a novel RE extraction paradigm named RHF (Relation-Head-Facts). Unlike existing approaches, AutoRE does not rely on the assumption of known relation options, making it more reflective of real-world scenarios. Additionally, we have developed an easily extensible RE framework using a Parameters Efficient Fine Tuning (PEFT) algorithm (QLoRA). Our experiments on the RE-DocRED dataset showcase AutoRE’s best performance, achieving state-of-the-art results, surpassing TAG by 10.03\% and 9.03\% respectively on the dev and test set. The code is available at https://github.com/THUDM/AutoRE and the demonstration video is provided at https://www.youtube.com/watch?v=IhKRsZUAxKk.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google