DREEAM: Guiding Attention with Evidence for Improving Document-Level Relation Extraction

要約

ドキュメント レベルの関係抽出 (DocRE) は、ドキュメント内の各エンティティ ペア間のすべての関係を識別するタスクです。
エンティティ ペア間の関係の手がかりを含む文として定義される証拠は、DocRE システムが関連するテキストに焦点を当てるのに役立ち、関係抽出を改善することが示されています。
ただし、DocRE のエビデンス検索 (ER) は、2 つの主要な問題に直面しています: 高いメモリ消費と、注釈の可用性の制限です。
この作業は、DocRE での ER の使用を改善するために、これらの問題に対処することを目的としています。
まず、証拠情報を監視信号として採用するメモリ効率の高いアプローチである DREEAM を提案します。これにより、DocRE システムのアテンション モジュールが証拠に高い重みを割り当てるように誘導します。
次に、DREEAM が大量のデータに対して自動生成されたエビデンスからエビデンスの注釈なしで ER を学習するための自己トレーニング戦略を提案します。
実験結果は、私たちのアプローチが DocRE と ER の両方の DocRED ベンチマークで最先端のパフォーマンスを発揮することを明らかにしています。
私たちの知る限り、DREEAM は ER セルフトレーニングを採用する最初のアプローチです。

要約(オリジナル)

Document-level relation extraction (DocRE) is the task of identifying all relations between each entity pair in a document. Evidence, defined as sentences containing clues for the relationship between an entity pair, has been shown to help DocRE systems focus on relevant texts, thus improving relation extraction. However, evidence retrieval (ER) in DocRE faces two major issues: high memory consumption and limited availability of annotations. This work aims at addressing these issues to improve the usage of ER in DocRE. First, we propose DREEAM, a memory-efficient approach that adopts evidence information as the supervisory signal, thereby guiding the attention modules of the DocRE system to assign high weights to evidence. Second, we propose a self-training strategy for DREEAM to learn ER from automatically-generated evidence on massive data without evidence annotations. Experimental results reveal that our approach exhibits state-of-the-art performance on the DocRED benchmark for both DocRE and ER. To the best of our knowledge, DREEAM is the first approach to employ ER self-training.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google