How Fragile is Relation Extraction under Entity Replacements?

要約

関係抽出 (RE) は、テキストのコンテキストからエンティティ名間の関係を抽出することを目的としています。
原則として、テキストのコンテキストによってグラウンドトゥルースの関係が決まり、RE モデルはテキストのコンテキストによって反映される関係を正確に識別できなければなりません。
しかし、既存の研究では、RE モデルはテキストのコンテキストを無視して RE 予測を行うためにエンティティ名のパターンを記憶していることがわかっています。
このため、「RE モデルはエンティティ置換に対して堅牢ですか?」という質問を提起する動機が生まれました。この研究では、TACRED の RE インスタンスに対してランダムで型に制約されたエンティティ置換を実行し、その状態を評価します。
エンティティ置換下のアート RE モデル。
エンティティ置換下の最先端の RE モデルでは、F1 スコアが 30\% ～ 50\% 低下することが観察されています。
これらの結果は、エンティティの置き換えに対して堅牢な効果的な再生可能エネルギーモデルを開発するには、さらなる努力が必要であることを示唆しています。
ソースコードは https://github.com/wangywUST/RobustRE で公開しています。

要約(オリジナル)

Relation extraction (RE) aims to extract the relations between entity names from the textual context. In principle, textual context determines the ground-truth relation and the RE models should be able to correctly identify the relations reflected by the textual context. However, existing work has found that the RE models memorize the entity name patterns to make RE predictions while ignoring the textual context. This motivates us to raise the question: “are RE models robust to the entity replacements?” In this work, we operate the random and type-constrained entity replacements over the RE instances in TACRED and evaluate the state-of-the-art RE models under the entity replacements. We observe the 30\% – 50\% F1 score drops on the state-of-the-art RE models under entity replacements. These results suggest that we need more efforts to develop effective RE models robust to entity replacements. We release the source code at https://github.com/wangywUST/RobustRE.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google