Learning ‘O’ Helps for Learning More: Handling the Concealed Entity Problem for Class-incremental NER

要約

名前付きエンティティのカテゴリが急速に増加するにつれて、デプロイされた NER モデルは、より多くのエンティティ タイプを認識するために更新し続ける必要があり、NER のクラス増分学習の需要が生じています。
プライバシーの問題とストレージの制約を考慮して、クラス増分 NER の標準パラダイムでは、新しいクラスの注釈のみが付けられたトレーニング データでモデルを更新しますが、他のエンティティ クラスのエンティティにはラベルが付けられず、「非エンティティ」 (または「O」) とみなされます。
この研究では、「ラベルのないエンティティ問題」に関する実証研究を実施し、それが「O」とエンティティの間の深刻な混乱につながり、古いクラスのクラス差別が減少し、新しいクラスを学習するモデルの能力が低下することがわかりました。
ラベルなしエンティティ問題を解決するために、エンティティクラスと「O」の識別表現を学習する新しい表現学習方法を提案します。
具体的には、「O」内のエンティティクラスタを適応的に検出するエンティティ認識対比学習手法を提案します。
さらに、古いクラスをより良く学習するための 2 つの効果的な距離ベースの再ラベル付け戦略を提案します。
クラスインクリメンタル NER のより現実的で挑戦的なベンチマークを導入し、提案された手法はベースライン手法と比較して最大 10.62\% の改善を達成しました。

要約(オリジナル)

As the categories of named entities rapidly increase, the deployed NER models are required to keep updating toward recognizing more entity types, creating a demand for class-incremental learning for NER. Considering the privacy concerns and storage constraints, the standard paradigm for class-incremental NER updates the models with training data only annotated with the new classes, yet the entities from other entity classes are unlabeled, regarded as ‘Non-entity’ (or ‘O’). In this work, we conduct an empirical study on the ‘Unlabeled Entity Problem’ and find that it leads to severe confusion between ‘O’ and entities, decreasing class discrimination of old classes and declining the model’s ability to learn new classes. To solve the Unlabeled Entity Problem, we propose a novel representation learning method to learn discriminative representations for the entity classes and ‘O’. Specifically, we propose an entity-aware contrastive learning method that adaptively detects entity clusters in ‘O’. Furthermore, we propose two effective distance-based relabeling strategies for better learning the old classes. We introduce a more realistic and challenging benchmark for class-incremental NER, and the proposed method achieves up to 10.62\% improvement over the baseline methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google