The Role of Global and Local Context in Named Entity Recognition

要約

タイトル：固有表現認識におけるグローバルとローカルの文脈の役割

要約：

– 最近、事前訓練されたトランスフォーマーベースのモデルが、固有表現認識の際に高いパフォーマンスを発揮している。
– しかしながら、これらのモデルは複雑な自己アテンションメカニズムを持っているため、長文書を一度に処理することができず、通常は順序通りに処理する。
– この方法は、ローカルな文脈しか取り込めず、小説のような長い文書のグローバルな文脈を利用することができなくなるため、パフォーマンスに影響を与える可能性がある。
– この論文では、グローバルな文脈とローカルな文脈の影響を調査した。
– グローバルな文脈を正しく取得することがパフォーマンスに大きな影響を与えることがわかり、その文脈をより良く取得する方法のさらなる研究が必要である。

要約(オリジナル)

Pre-trained transformer-based models have recently shown great performance when applied to Named Entity Recognition (NER). As the complexity of their self-attention mechanism prevents them from processing long documents at once, these models are usually applied in a sequential fashion. Such an approach unfortunately only incorporates local context and prevents leveraging global document context in long documents such as novels, which might hinder performance. In this article, we explore the impact of global document context, and its relationships with local context. We find that correctly retrieving global document context has a greater impact on performance than only leveraging local context, prompting for further research on how to better retrieve that context.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI