Federated Incremental Named Entity Recognition

要約

Federated Named Entity認識（FNER）は、個人データを共有せずに、分散型のローカルクライアントのモデル更新を集約することにより、各ローカルクライアント内のモデルトレーニングを強化します。
ただし、既存のFNERメソッドは、固定されたエンティティの種類とローカルクライアントを事前に仮定し、実際のアプリケーションでの効率性につながります。
より現実的なシナリオでは、ローカルクライアントは新しいエンティティタイプを継続的に受け取りますが、新しいローカルクライアントが新しいデータを収集すると、グローバルなFNERトレーニングに不規則に参加する可能性があります。
ここではフェデレーションインクリメンタルNERと呼ばれるこの挑戦的なセットアップは、グローバルモデルを、クライアント内とクライアント間の両方の視点からの古いエンティティタイプの不均一な忘却に苦しんでいます。
これらの課題を克服するために、ローカルグローバル忘却防御（LGFD）モデルを提案します。
具体的には、クライアント内の忘却に対処するために、潜在空間の特徴構造を保持するための構造的知識蒸留損失と、異なるエンティティタイプにわたって識別能力を強化するための擬似ラベル誘導性型の対照的損失を維持し、地元のクライアント内で以前に学習した知識を効果的に保存します。
クライアント間忘却に取り組むために、プライバシー保護の下で新しいエンティティタイプを自動的に識別できるタスクスイッチングモニターを提案し、知識の蒸留と擬似ラベル付けのために最新の古いグローバルモデルを保存します。
実験は、比較方法よりもLGFDモデルの有意な改善を示しています。

要約(オリジナル)

Federated Named Entity Recognition (FNER) boosts model training within each local client by aggregating the model updates of decentralized local clients, without sharing their private data. However, existing FNER methods assume fixed entity types and local clients in advance, leading to their ineffectiveness in practical applications. In a more realistic scenario, local clients receive new entity types continuously, while new local clients collecting novel data may irregularly join the global FNER training. This challenging setup, referred to here as Federated Incremental NER, renders the global model suffering from heterogeneous forgetting of old entity types from both intra-client and inter-client perspectives. To overcome these challenges, we propose a Local-Global Forgetting Defense (LGFD) model. Specifically, to address intra-client forgetting, we develop a structural knowledge distillation loss to retain the latent space’s feature structure and a pseudo-label-guided inter-type contrastive loss to enhance discriminative capability over different entity types, effectively preserving previously learned knowledge within local clients. To tackle inter-client forgetting, we propose a task switching monitor that can automatically identify new entity types under privacy protection and store the latest old global model for knowledge distillation and pseudo-labeling. Experiments demonstrate significant improvement of our LGFD model over comparison methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google