SANTA: Separate Strategies for Inaccurate and Incomplete Annotation Noise in Distantly-Supervised Named Entity Recognition

要約

タイトル: SANTA: Separate Strategies for Inaccurate and Incomplete Annotation Noise in Distantly-Supervised Named Entity Recognition
要約:
– Distantly-Supervised Named Entity Recognitionは、教師付きモデルのアノテーションにかかる手間や時間を削減できる。
– しかし、文脈を考慮しないマッチングプロセスと、知識ベースのカバー範囲の限定によって、それぞれに不正確で不完全なアノテーションノイズが導入される。
– 従来の研究では、不完全なアノテーションノイズしか考慮されなかったか、2つのタイプのノイズを同じ戦略で扱っていた。
– 本研究では、2つのノイズの異なる原因が異なる戦略を必要とすることを主張する。
– したがって、私たちは、不正確なアノテーションによって引き起こされるエンティティの不明瞭さを和らげるために、（1）Memory-smoothed Focal LossとEntity-aware KNNを使用し、不完全なアノテーションによって引き起こされる決定境界のシフト問題を緩和するために境界Mixupとノイズに耐性がある損失を使用する、SANTAを提案する。
– 私たちの分離された戦略の恩恵により、実験では2つのノイズが十分に緩和されたことが確認された。
– SANTAは、5つの公開データセットで新しい最先端を達成しています。

要約(オリジナル)

Distantly-Supervised Named Entity Recognition effectively alleviates the burden of time-consuming and expensive annotation in the supervised setting. But the context-free matching process and the limited coverage of knowledge bases introduce inaccurate and incomplete annotation noise respectively. Previous studies either considered only incomplete annotation noise or indiscriminately handle two types of noise with the same strategy. In this paper, we argue that the different causes of two types of noise bring up the requirement of different strategies in model architecture. Therefore, we propose the SANTA to handle these two types of noise separately with (1) Memory-smoothed Focal Loss and Entity-aware KNN to relieve the entity ambiguity problem caused by inaccurate annotation, and (2) Boundary Mixup to alleviate decision boundary shifting problem caused by incomplete annotation and a noise-tolerant loss to improve the robustness. Benefiting from our separate tailored strategies, we confirm in the experiment that the two types of noise are well mitigated. SANTA also achieves a new state-of-the-art on five public datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI