Federated Incremental Named Entity Recognition

要約

Federated Named Entity Recognition (FNER) は、プライベート データを共有することなく、分散型ローカル クライアントのモデル更新を集約することで、各ローカル クライアント内でのモデル トレーニングを強化します。
ただし、既存の FNER 手法は、固定エンティティ タイプとローカル クライアントを事前に想定しているため、実際のアプリケーションでは非効率的です。
より現実的なシナリオでは、ローカル クライアントは継続的に新しいエンティティ タイプを受け取りますが、新しいデータを収集する新しいローカル クライアントは不定期にグローバル FNER トレーニングに参加する可能性があります。
ここでは Federated Incremental NER と呼ばれるこの困難なセットアップにより、グローバル モデルは、クライアント内とクライアント間の両方の観点から、古いエンティティ タイプの不均一な忘却に悩まされることになります。
これらの課題を克服するために、ローカル-グローバル忘却防御 (LGFD) モデルを提案します。
具体的には、クライアント内の忘却に対処するために、潜在空間の特徴構造を保持するための構造的知識蒸留損失と、異なるエンティティ タイプの識別能力を強化するための擬似ラベル誘導型間対比損失を開発し、以前に学習した知識を内部で効果的に保存します。
地元のクライアント。
クライアント間の忘却に対処するために、プライバシー保護の下で新しいエンティティ タイプを自動的に識別し、知識の蒸留と疑似ラベル付けのための最新の古いグローバル モデルを保存できるタスク スイッチング モニターを提案します。
実験では、比較手法に比べて LGFD モデルが大幅に改善されたことが実証されています。

要約(オリジナル)

Federated Named Entity Recognition (FNER) boosts model training within each local client by aggregating the model updates of decentralized local clients, without sharing their private data. However, existing FNER methods assume fixed entity types and local clients in advance, leading to their ineffectiveness in practical applications. In a more realistic scenario, local clients receive new entity types continuously, while new local clients collecting novel data may irregularly join the global FNER training. This challenging setup, referred to here as Federated Incremental NER, renders the global model suffering from heterogeneous forgetting of old entity types from both intra-client and inter-client perspectives. To overcome these challenges, we propose a Local-Global Forgetting Defense (LGFD) model. Specifically, to address intra-client forgetting, we develop a structural knowledge distillation loss to retain the latent space’s feature structure and a pseudo-label-guided inter-type contrastive loss to enhance discriminative capability over different entity types, effectively preserving previously learned knowledge within local clients. To tackle inter-client forgetting, we propose a task switching monitor that can automatically identify new entity types under privacy protection and store the latest old global model for knowledge distillation and pseudo-labeling. Experiments demonstrate significant improvement of our LGFD model over comparison methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google