From Zero to Hero: Harnessing Transformers for Biomedical Named Entity Recognition in Zero- and Few-shot Contexts

要約

生物医学分野における教師付き固有表現認識 (NER) は、指定された固有表現を含む注釈付きテキストの大規模なセットに依存します。
このようなデータセットの作成には時間と費用がかかる可能性があり、新しいエンティティの抽出には追加のアノテーション タスクとモデルの再トレーニングが必要になります。
これらの課題に対処するために、この論文では生物医学領域におけるゼロショットおよび少数ショットの NER の方法を提案します。
このメソッドは、マルチクラス トークン分類のタスクをバイナリ トークン分類に変換し、大量のデータセットと生物医学的エンティティで事前トレーニングすることに基づいています。これにより、モデルは、指定された名前付きエンティティ ラベルと潜在的に新しい名前付きエンティティ ラベルの間の意味論的な関係を学習できるようになります。
微調整されたPubMedBERTを使用して、評価された9つの多様な生物医学的実体において、ゼロショットNERで35.44%、ワンショットNERで50.10%、10ショットNERで69.94%、100ショットNERで79.51%の平均F1スコアを達成しました。
ベースのモデル。
この結果は、例がない、または限られた数の新しい生物医学的実体を認識するための提案された方法の有効性が実証されており、以前のトランスフォーマーベースの方法を上回っており、1000 倍以上少ないパラメーターを持つモデルを使用する GPT3 ベースのモデルに匹敵します。
私たちはモデルと開発したコードを公開します。

要約(オリジナル)

Supervised named entity recognition (NER) in the biomedical domain depends on large sets of annotated texts with the given named entities. The creation of such datasets can be time-consuming and expensive, while extraction of new entities requires additional annotation tasks and retraining the model. To address these challenges, this paper proposes a method for zero- and few-shot NER in the biomedical domain. The method is based on transforming the task of multi-class token classification into binary token classification and pre-training on a large amount of datasets and biomedical entities, which allow the model to learn semantic relations between the given and potentially novel named entity labels. We have achieved average F1 scores of 35.44% for zero-shot NER, 50.10% for one-shot NER, 69.94% for 10-shot NER, and 79.51% for 100-shot NER on 9 diverse evaluated biomedical entities with fine-tuned PubMedBERT-based model. The results demonstrate the effectiveness of the proposed method for recognizing new biomedical entities with no or limited number of examples, outperforming previous transformer-based methods, and being comparable to GPT3-based models using models with over 1000 times fewer parameters. We make models and developed code publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google