Improving Distantly-Supervised Named Entity Recognition with Self-Collaborative Denoising Learning

要約

遠隔監視された固有表現認識 (DS-NER) は人件費を効率的に削減しますが、一方で、遠隔監視の強い前提により本質的にラベル ノイズに悩まされます。
通常、誤ってラベル付けされたインスタンスは、多数の不完全で不正確な注釈ノイズで構成されていますが、以前のほとんどのノイズ除去作業は 1 種類のノイズのみに関係しており、トレーニング セット全体で有用な情報を十分に調査できていません。
この問題に対処するために、Self-Collaborative Denoising Learning (SCDL) という名前の堅牢な学習パラダイムを提案します。これは、相互に有益な方法で 2 つの教師と生徒のネットワークを共同でトレーニングし、ノイズの多いラベルの精製を繰り返し実行します。
各ネットワークは、自己ノイズ除去によって信頼できるラベルを活用するように設計されており、2 つのネットワークが相互に通信して、協調的なノイズ除去によって信頼できない注釈を調査します。
5 つの実世界のデータセットに関する広範な実験結果は、SCDL が最先端の DS-NER ノイズ除去方法よりも優れていることを示しています。

要約(オリジナル)

Distantly supervised named entity recognition (DS-NER) efficiently reduces labor costs but meanwhile intrinsically suffers from the label noise due to the strong assumption of distant supervision. Typically, the wrongly labeled instances comprise numbers of incomplete and inaccurate annotation noise, while most prior denoising works are only concerned with one kind of noise and fail to fully explore useful information in the whole training set. To address this issue, we propose a robust learning paradigm named Self-Collaborative Denoising Learning (SCDL), which jointly trains two teacher-student networks in a mutually-beneficial manner to iteratively perform noisy label refinery. Each network is designed to exploit reliable labels via self denoising, and two networks communicate with each other to explore unreliable annotations by collaborative denoising. Extensive experimental results on five real-world datasets demonstrate that SCDL is superior to state-of-the-art DS-NER denoising methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google