A Neural Span-Based Continual Named Entity Recognition Model

要約

継続的学習 (CL) が可能な名前付きエンティティ認識 (NER) モデルは、エンティティの種類が継続的に増加する領域 (パーソナル アシスタントなど) で現実的に価値があります。
一方、NER の学習パラダイムは、スパンベースの方法などの新しいパターンに進みます。
ただし、CL への可能性は十分に検討されていません。
このホワイト ペーパーでは、SpanKL1 を提案します。SpanKL1 は、記憶を保持するための知識蒸留 (KD) と CL-NER での競合を防ぐためのマルチラベル予測を備えたシンプルで効果的なスパン ベースのモデルです。
以前のシーケンス ラベル付けアプローチとは異なり、SpanKL で設計された一貫した最適化を使用したスパンおよびエンティティ レベルでの本質的に独立したモデリングは、各増分ステップでの学習を促進し、忘却を軽減します。
OntoNotes と Few-NERD から派生した合成 CL データセットの実験では、SpanKL が多くの面で以前の SoTA を大幅に上回り、CL から上限までの最小のギャップを得て、その高い実践値を明らかにすることが示されています。

要約(オリジナル)

Named Entity Recognition (NER) models capable of Continual Learning (CL) are realistically valuable in areas where entity types continuously increase (e.g., personal assistants). Meanwhile the learning paradigm of NER advances to new patterns such as the span-based methods. However, its potential to CL has not been fully explored. In this paper, we propose SpanKL1, a simple yet effective Span-based model with Knowledge distillation (KD) to preserve memories and multi-Label prediction to prevent conflicts in CL-NER. Unlike prior sequence labeling approaches, the inherently independent modeling in span and entity level with the designed coherent optimization on SpanKL promotes its learning at each incremental step and mitigates the forgetting. Experiments on synthetic CL datasets derived from OntoNotes and Few-NERD show that SpanKL significantly outperforms previous SoTA in many aspects, and obtains the smallest gap from CL to the upper bound revealing its high practiced value.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google