SANTA: Separate Strategies for Inaccurate and Incomplete Annotation Noise in Distantly-Supervised Named Entity Recognition

要約

遠隔監視された固有表現認識は、監視下での時間と費用のかかる注釈の負担を効果的に軽減します。
しかし、コンテキストフリーのマッチング プロセスと知識ベースの範囲が限られているため、それぞれ不正確な注釈ノイズと不完全な注釈ノイズが発生します。
以前の研究では、不完全なアノテーション ノイズのみを考慮するか、同じ戦略で 2 種類のノイズを無差別に処理していました。
この論文では、2 種類のノイズの異なる原因が、モデル アーキテクチャにおける異なる戦略の要件を引き起こすと主張します。
したがって、我々は、SANTA がこれら 2 種類のノイズを、(1) 不正確なアノテーションによって引き起こされるエンティティの曖昧さの問題を軽減するためにメモリ平滑化焦点損失とエンティティ認識 KNN で、および (2) 決定境界のシフトを軽減するために境界混合を使用して個別に処理することを提案します。
不完全なアノテーションとノイズ耐性損失によって引き起こされる問題を解決し、堅牢性を向上させます。
個別に調整した戦略の恩恵を受けて、実験では 2 種類のノイズが十分に軽減されることを確認しました。
SANTA は、5 つの公開データセットに関して新たな最先端技術も実現しています。

要約(オリジナル)

Distantly-Supervised Named Entity Recognition effectively alleviates the burden of time-consuming and expensive annotation in the supervised setting. But the context-free matching process and the limited coverage of knowledge bases introduce inaccurate and incomplete annotation noise respectively. Previous studies either considered only incomplete annotation noise or indiscriminately handle two types of noise with the same strategy. In this paper, we argue that the different causes of two types of noise bring up the requirement of different strategies in model architecture. Therefore, we propose the SANTA to handle these two types of noise separately with (1) Memory-smoothed Focal Loss and Entity-aware KNN to relieve the entity ambiguity problem caused by inaccurate annotation, and (2) Boundary Mixup to alleviate decision boundary shifting problem caused by incomplete annotation and a noise-tolerant loss to improve the robustness. Benefiting from our separate tailored strategies, we confirm in the experiment that the two types of noise are well mitigated. SANTA also achieves a new state-of-the-art on five public datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google