W-procer: Weighted Prototypical Contrastive Learning for Medical Few-Shot Named Entity Recognition

要約

対照学習は、少数ショットの名前実体認識 (NER) の一般的なソリューションとなっています。
従来の構成では、同じラベルを持つトークン間の距離を縮め、異なるラベルを持つトークン間の距離を広げるように努めます。
ただし、この設定の影響により、医療領域では OUTSIDE (O) として注釈が付けられたエンティティが多数存在し、現在の対照学習によって OUTSIDE (O) としてラベル付けされていない他のエンティティに望ましくないほど押し離されてしまう可能性があります。
このメソッドでは、ラベルのセマンティック表現のノイズの多いプロトタイプが作成されますが、ラベル付きエンティティに関連する OUTSIDE (O) ラベル付きエンティティが多数存在します。
この課題に対処するために、我々は、医療用少数ショット固有実体認識のための加重プロトタイプ対照学習 (W-PROCER) という新しい方法を提案します。
私たちのアプローチは主に、プロトタイプベースの契約損失および重み付けネットワークの構築を中心に展開します。
これらのコンポーネントは、ネガティブ サンプルと OUTSIDE (O) トークンを区別するモデルを支援し、対照学習の識別能力を強化する上で重要な役割を果たします。
実験結果は、私たちが提案した W-PROCER フレームワークが 3 つの医療ベンチマーク データセットの強力なベースラインを大幅に上回っていることを示しています。

要約(オリジナル)

Contrastive learning has become a popular solution for few-shot Name Entity Recognization (NER). The conventional configuration strives to reduce the distance between tokens with the same labels and increase the distance between tokens with different labels. The effect of this setup may, however, in the medical domain, there are a lot of entities annotated as OUTSIDE (O), and they are undesirably pushed apart to other entities that are not labeled as OUTSIDE (O) by the current contrastive learning method end up with a noisy prototype for the semantic representation of the label, though there are many OUTSIDE (O) labeled entities are relevant to the labeled entities. To address this challenge, we propose a novel method named Weighted Prototypical Contrastive Learning for Medical Few Shot Named Entity Recognization (W-PROCER). Our approach primarily revolves around constructing the prototype-based contractive loss and weighting network. These components play a crucial role in assisting the model in differentiating the negative samples from OUTSIDE (O) tokens and enhancing the discrimination ability of contrastive learning. Experimental results show that our proposed W-PROCER framework significantly outperforms the strong baselines on the three medical benchmark datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google