On the Robustness of Document-Level Relation Extraction Models to Entity Name Variations

要約

クロスセンテンスおよび大規模な関係抽出の需要に後押しされて、文書レベルの関係抽出 (DocRE) に対する研究の関心が高まっています。
パフォーマンスが継続的に向上しているにもかかわらず、当初は良好なパフォーマンスを示した既存の DocRE モデルは、ドキュメント内のエンティティ名を変更するだけの場合により多くの間違いを犯し、新しいエンティティ名への一般​​化を妨げる可能性があることがわかりました。
この目的を達成するために、この研究ではエンティティ名のバリエーションに対する DocRE モデルの堅牢性を体系的に調査します。
まず、元のエンティティ名をウィキデータの名前に置き換えることによって、エンティティの名前が変更されたドキュメントを生成する原則に基づいたパイプラインを提案します。
このパイプラインを DocRED および Re-DocRED データセットに適用することにより、堅牢性評価用に Env-DocRED および Env-Re-DocRED という 2 つの新しいベンチマークを構築します。
実験結果は、3 つの代表的な DocRE モデルと 2 つのコンテキスト内で学習された大規模言語モデルの両方が、エンティティ名のバリエーション、特に文間の関係インスタンスやより多くのエンティティを含むドキュメントに対して、一貫して十分な堅牢性を欠いていることを示しています。
最後に、DocRE モデルの堅牢性を向上させるだけでなく、その理解と推論能力も強化する、エンティティ バリエーションのロバストなトレーニング方法を提案します。
さらに、この手法の基本的な考え方が、DocRE のインコンテキスト学習にも効果的に適用できることを検証します。

要約(オリジナル)

Driven by the demand for cross-sentence and large-scale relation extraction, document-level relation extraction (DocRE) has attracted increasing research interest. Despite the continuous improvement in performance, we find that existing DocRE models which initially perform well may make more mistakes when merely changing the entity names in the document, hindering the generalization to novel entity names. To this end, we systematically investigate the robustness of DocRE models to entity name variations in this work. We first propose a principled pipeline to generate entity-renamed documents by replacing the original entity names with names from Wikidata. By applying the pipeline to DocRED and Re-DocRED datasets, we construct two novel benchmarks named Env-DocRED and Env-Re-DocRED for robustness evaluation. Experimental results show that both three representative DocRE models and two in-context learned large language models consistently lack sufficient robustness to entity name variations, particularly on cross-sentence relation instances and documents with more entities. Finally, we propose an entity variation robust training method which not only improves the robustness of DocRE models but also enhances their understanding and reasoning capabilities. We further verify that the basic idea of this method can be effectively transferred to in-context learning for DocRE as well.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google