About Evaluation of F1 Score for RECENT Relation Extraction System

要約

この文書には、計算言語学協会の調査結果: ACL-IJCNLP 2021 に掲載された Shengfei Lyu と Huanhuan Chen による記事「エンティティ タイプ制限による関係分類」で使用されている F1 スコア評価の議論が含まれています。著者は、RECENT という名前のシステムを作成しました。
そして、TACREDデータセットで（当時）新しい最先端の結果75.2（以前は74.8）を達成したと主張していますが、エラーの修正と再評価後の最終結果は65.16です。

要約(オリジナル)

This document contains a discussion of the F1 score evaluation used in the article ‘Relation Classification with Entity Type Restriction’ by Shengfei Lyu, Huanhuan Chen published on Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021. The authors created a system named RECENT and claim it achieves (then) a new state-of-the-art result 75.2 (previous 74.8) on the TACRED dataset, while after correcting errors and reevaluation the final result is 65.16

arxiv情報

提供元, 利用サービス

arxiv.jp, Google