Hybrid Multi-stage Decoding for Few-shot NER with Entity-aware Contrastive Learning

要約

少数の固有表現認識では、少数のラベル付き例に基づいて、新しいタイプの固有表現を識別できます。
トークンレベルまたはスパンレベルのメトリクス学習を採用する以前の方法では、計算負荷と多数の負のサンプル スパンの問題がありました。
この論文では、一般的な NER をエンティティ スパン検出とエンティティ分類の 2 つの段階に分割する、エンティティ認識対照学習 (MsFNER) を使用した少数ショット NER のハイブリッド多段階復号を提案します。
MsFNER の導入には、トレーニング、微調整、推論という 3 つのプロセスがあります。
トレーニング プロセスでは、メタ学習を使用して、ソース ドメイン上で最適なエンティティ スパン検出モデルとエンティティ分類モデルを個別にトレーニングして取得します。そこで、エンティティ分類のためのエンティティ表現を強化するための対照学習モジュールを作成します。
微調整中に、ターゲット ドメインのサポート データセットで両方のモデルを微調整します。
推論プロセスでは、ラベルなしデータの場合、最初にエンティティ スパンを検出し、次にエンティティ スパンはエンティティ分類モデルと KNN によって共同で決定されます。
私たちはオープンな FewNERD データセットで実験を実施し、その結果は MsFNER の進歩を示しています。

要約(オリジナル)

Few-shot named entity recognition can identify new types of named entities based on a few labeled examples. Previous methods employing token-level or span-level metric learning suffer from the computational burden and a large number of negative sample spans. In this paper, we propose the Hybrid Multi-stage Decoding for Few-shot NER with Entity-aware Contrastive Learning (MsFNER), which splits the general NER into two stages: entity-span detection and entity classification. There are 3 processes for introducing MsFNER: training, finetuning, and inference. In the training process, we train and get the best entity-span detection model and the entity classification model separately on the source domain using meta-learning, where we create a contrastive learning module to enhance entity representations for entity classification. During finetuning, we finetune the both models on the support dataset of target domain. In the inference process, for the unlabeled data, we first detect the entity-spans, then the entity-spans are jointly determined by the entity classification model and the KNN. We conduct experiments on the open FewNERD dataset and the results demonstrate the advance of MsFNER.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google