A Unified Label-Aware Contrastive Learning Framework for Few-Shot Named Entity Recognition

要約

少数ショット固有表現認識 (NER) は、限られた数のラベル付き例のみを使用して固有表現を抽出することを目的としています。
既存の対照学習方法は、ラベルのセマンティクスのみに依存するかラベルのセマンティクスを完全に無視するため、コンテキスト ベクトル表現における識別性が不十分であることがよくあります。
この問題に取り組むために、私たちは統一されたラベル認識型のトークンレベルの対照学習フレームワークを提案します。
私たちのアプローチは、ラベルのセマンティクスを接尾辞プロンプトとして利用することでコンテキストを強化します。
さらに、コンテキストとコンテキストおよびコンテキストとラベルの対比学習目標を同時に最適化し、一般化された識別コンテキスト表現を強化します。さまざまな従来のテスト ドメイン (OntoNotes、CoNLL’03、WNUT’17、GUM、I2B2) および大規模な少数のテスト ドメインでの広範な実験
-ショット NER データセット (FEWNERD) は、私たちのアプローチの有効性を示しています。
従来の最先端モデルを大幅に上回り、ほとんどのシナリオでマイクロ F1 スコアの平均 7% の絶対ゲインを達成しました。
さらなる分析により、私たちのモデルがその強力な転送機能と改善されたコンテキスト表現の恩恵を受けていることが明らかになりました。

要約(オリジナル)

Few-shot Named Entity Recognition (NER) aims to extract named entities using only a limited number of labeled examples. Existing contrastive learning methods often suffer from insufficient distinguishability in context vector representation because they either solely rely on label semantics or completely disregard them. To tackle this issue, we propose a unified label-aware token-level contrastive learning framework. Our approach enriches the context by utilizing label semantics as suffix prompts. Additionally, it simultaneously optimizes context-context and context-label contrastive learning objectives to enhance generalized discriminative contextual representations.Extensive experiments on various traditional test domains (OntoNotes, CoNLL’03, WNUT’17, GUM, I2B2) and the large-scale few-shot NER dataset (FEWNERD) demonstrate the effectiveness of our approach. It outperforms prior state-of-the-art models by a significant margin, achieving an average absolute gain of 7% in micro F1 scores across most scenarios. Further analysis reveals that our model benefits from its powerful transfer capability and improved contextual representations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google