Rethinking Document-Level Relation Extraction: A Reality Check

要約

最近、文書レベルの関係抽出 (DocRE) のパフォーマンスの限界を押し上げるための多くの取り組みが続けられ、DocRE は大幅に進歩しました。
この論文では、DocRE の新しいモデルを提案することを目的としていません。
代わりに、これらのパフォーマンスの向上が実際に真実であるかどうかを確認するために、現場を詳しく調べます。
包括的な文献レビューと一般的な DocRE データセットの徹底的な調査により、これらのパフォーマンスの向上は、すべての名前付きエンティティが完全にローカライズされ、正規化され、事前に型指定されているという共通の強力な、あるいは維持不可能な前提に基づいて達成されていることがわかりました。
次に、4 種類のエンティティ言及攻撃を構築し、動作プローブによって典型的な DocRE モデルの堅牢性を検証します。
また、より現実的な設定でモデルの使いやすさを綿密にチェックしています。
私たちの調査結果では、現在の DocRE モデルのほとんどはエンティティ言及攻撃に対して脆弱であり、現実世界のエンドユーザー NLP アプリケーションに導入するのが難しいことが明らかになりました。
私たちの研究は、問題設定の単純化をやめ、非現実的なユートピアの世界ではなく現実の環境で DocRE をモデル化するための将来の研究にさらに注目を集めるものです。

要約(オリジナル)

Recently, numerous efforts have continued to push up performance boundaries of document-level relation extraction (DocRE) and have claimed significant progress in DocRE. In this paper, we do not aim at proposing a novel model for DocRE. Instead, we take a closer look at the field to see if these performance gains are actually true. By taking a comprehensive literature review and a thorough examination of popular DocRE datasets, we find that these performance gains are achieved upon a strong or even untenable assumption in common: all named entities are perfectly localized, normalized, and typed in advance. Next, we construct four types of entity mention attacks to examine the robustness of typical DocRE models by behavioral probing. We also have a close check on model usability in a more realistic setting. Our findings reveal that most of current DocRE models are vulnerable to entity mention attacks and difficult to be deployed in real-world end-user NLP applications. Our study calls more attentions for future research to stop simplifying problem setups, and to model DocRE in the wild rather than in an unrealistic Utopian world.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google