A Two-step Approach for Handling Zero-Cardinality in Relation Extraction

要約

テキストからの関係タプルの抽出は、知識ベースを構築するための重要なタスクです。
最近、共同エンティティおよび関係抽出モデルは、このタスクで非常に高い F1 スコアを達成しました。
ただし、これらのモデルで使用される実験設定は制限的であり、実験で使用されるデータセットは現実的ではありません。
タプルがゼロ (基数ゼロ) の文は含まれません。
この論文では、最先端の共同エンティティと関係抽出モデルをより現実的な設定で評価します。
実験には、タプルを含まない文を含めます。
私たちの実験は、この設定で F1 スコアが大幅に低下することを示しています (あるデータセットでは $\sim 10-15\%$、別のデータセットでは $\sim 6-14\%$)。
また、この現実的な実験設定でこれらのモデルの全体的なパフォーマンスを向上させる単純な BERT ベースの分類器を使用した 2 段階のモデリングも提案します。

要約(オリジナル)

Relation tuple extraction from text is an important task for building knowledge bases. Recently, joint entity and relation extraction models have achieved very high F1 scores in this task. However, the experimental settings used by these models are restrictive and the datasets used in the experiments are not realistic. They do not include sentences with zero tuples (zero-cardinality). In this paper, we evaluate the state-of-the-art joint entity and relation extraction models in a more realistic setting. We include sentences that do not contain any tuples in our experiments. Our experiments show that there is significant drop ($\sim 10-15\%$ in one dataset and $\sim 6-14\%$ in another dataset) in their F1 score in this setting. We also propose a two-step modeling using a simple BERT-based classifier that leads to improvement in the overall performance of these models in this realistic experimental setup.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google