要約
文書レベルの関係抽出 (DocRE) は、最近、より多くの研究の関心を集めています。
DocRE ではモデルが一貫したパフォーマンスの向上を達成していますが、その基礎となる決定ルールはまだ研究が進んでいません。つまり、モデルは理論的根拠に従って正しい予測を行っているのか?
本稿では、この質問に答えるための第一歩を踏み出し、モデルを包括的に評価するための新しい視点を紹介します。
具体的には、まずDocREにおいて人間が考えた根拠を提供するアノテーションを行います。
次に、調査を実施し、次の事実を明らかにします。 人間とは対照的に、DocRE の代表的な最先端 (SOTA) モデルは異なる決定ルールを示します。
次に、私たちが提案する再生可能エネルギーに特化した攻撃を通じて、モデルと人間の間の決定ルールの大きな不一致がモデルの堅牢性を著しく損ない、現実世界の再生可能エネルギーのシナリオに適用できなくなることを実証します。
その後、モデルの理解力と推論能力を評価するために平均平均精度 (MAP) を導入します。
広範な実験結果に基づいて、アプリケーションの開発に向けてモデルのパフォーマンスと理解能力の両方を評価することを検討することが今後の研究に最終的に求められます。
アノテーションとコードは公開されています。
要約(オリジナル)
Document-level relation extraction (DocRE) attracts more research interest recently. While models achieve consistent performance gains in DocRE, their underlying decision rules are still understudied: Do they make the right predictions according to rationales? In this paper, we take the first step toward answering this question and then introduce a new perspective on comprehensively evaluating a model. Specifically, we first conduct annotations to provide the rationales considered by humans in DocRE. Then, we conduct investigations and reveal the fact that: In contrast to humans, the representative state-of-the-art (SOTA) models in DocRE exhibit different decision rules. Through our proposed RE-specific attacks, we next demonstrate that the significant discrepancy in decision rules between models and humans severely damages the robustness of models and renders them inapplicable to real-world RE scenarios. After that, we introduce mean average precision (MAP) to evaluate the understanding and reasoning capabilities of models. According to the extensive experimental results, we finally appeal to future work to consider evaluating both performance and the understanding ability of models for the development of their applications. We make our annotations and code publicly available.
arxiv情報
| 著者 | Haotian Chen,Bingsheng Chen,Xiangdong Zhou |
| 発行日 | 2023-06-20 08:52:05+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google