A Neural Span-Based Continual Named Entity Recognition Model

要約

継続学習 (CL) が可能な固有表現認識 (NER) モデルは、エンティティの種類が継続的に増加する領域 (パーソナル アシスタントなど) において現実的に価値があります。
一方、NER の学習パラダイムは、スパンベースの手法などの新しいパターンに進化しています。
しかし、CLへの可能性は十分に探求されていません。
この論文では、記憶を保存するための知識蒸留 (KD) と、CL-NER での競合を防ぐためのマルチラベル予測を備えた、シンプルかつ効果的な Span ベースのモデルである SpanKL を提案します。
以前の配列ラベル付けアプローチとは異なり、SpanKL 上で設計された一貫した最適化を備えたスパンおよびエンティティ レベルでの本質的に独立したモデリングにより、各増分ステップでの学習が促進され、忘却が軽減されます。
OntoNotes と Few-NERD から派生した合成 CL データセットの実験では、SpanKL が多くの面で以前の SoTA を大幅に上回っており、CL から上限までの最小ギャップが得られ、その高い実践価値が明らかになりました。
コードは https://github.com/Qznan/SpanKL で入手できます。

要約(オリジナル)

Named Entity Recognition (NER) models capable of Continual Learning (CL) are realistically valuable in areas where entity types continuously increase (e.g., personal assistants). Meanwhile the learning paradigm of NER advances to new patterns such as the span-based methods. However, its potential to CL has not been fully explored. In this paper, we propose SpanKL, a simple yet effective Span-based model with Knowledge distillation (KD) to preserve memories and multi-Label prediction to prevent conflicts in CL-NER. Unlike prior sequence labeling approaches, the inherently independent modeling in span and entity level with the designed coherent optimization on SpanKL promotes its learning at each incremental step and mitigates the forgetting. Experiments on synthetic CL datasets derived from OntoNotes and Few-NERD show that SpanKL significantly outperforms previous SoTA in many aspects, and obtains the smallest gap from CL to the upper bound revealing its high practiced value. The code is available at https://github.com/Qznan/SpanKL.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google