Demonstration-based learning for few-shot biomedical named entity recognition under machine reading comprehension

要約

深層学習技術は大きな成果を上げていますが、手動でラベル付けされた大量のデータに依存することが多く、ショット数が少ないシナリオではパフォーマンスが不十分になる傾向があります。
この研究の目的は、数ショット学習のシナリオで生物医学的エンティティを認識するモデルの能力を向上できる戦略を考案することです。
生物医学固有表現認識 (BioNER) を機械読解 (MRC) 問題として再定義することにより、適切なタスクのデモンストレーションを構築することを含む、少数ショットの BioNER に対処するためのデモンストレーションベースの学習方法を提案します。
提案手法を評価する際、BC4CHEMD、BC5CDR-Chemical、BC5CDR-Disease、NCBI-Disease、BC2GM、JNLPBA を含む 6 つのベンチマーク データセットを使用して、提案手法を既存の高度な手法と比較しました。
25 ショットと 50 ショットの両方の学習実験からの F1 スコアを報告することで、モデルの有効性を調べました。
25 ショット学習では、ベースライン手法と比較して平均 F1 スコアが 1.1% 向上し、6 つのデータセットでそれぞれ 61.7%、84.1%、69.1%、70.1%、50.6%、59.9% に達しました。
50 ショット学習では、ベースライン方法と比較して平均 F1 スコアがさらに 1.0% 向上し、それぞれ 73.1%、86.8%、76.1%、75.6%、61.7%、65.4% に達しました。
私たちは、少数ショット学習 BioNER の領域において、MRC ベースの言語モデルは、配列標識アプローチと比較して生物医学的エンティティの認識においてはるかに熟練していることを報告しました。
さらに、当社の MRC 言語モデルは、豊富な注釈付きデータの利用可能性に大きく依存する完全教師あり学習方法と十分に競合できます。
これらの結果は、少数ショット BioNER 手法における将来の進歩の可能性のある道筋を強調しています。

要約(オリジナル)

Although deep learning techniques have shown significant achievements, they frequently depend on extensive amounts of hand-labeled data and tend to perform inadequately in few-shot scenarios. The objective of this study is to devise a strategy that can improve the model’s capability to recognize biomedical entities in scenarios of few-shot learning. By redefining biomedical named entity recognition (BioNER) as a machine reading comprehension (MRC) problem, we propose a demonstration-based learning method to address few-shot BioNER, which involves constructing appropriate task demonstrations. In assessing our proposed method, we compared the proposed method with existing advanced methods using six benchmark datasets, including BC4CHEMD, BC5CDR-Chemical, BC5CDR-Disease, NCBI-Disease, BC2GM, and JNLPBA. We examined the models’ efficacy by reporting F1 scores from both the 25-shot and 50-shot learning experiments. In 25-shot learning, we observed 1.1% improvements in the average F1 scores compared to the baseline method, reaching 61.7%, 84.1%, 69.1%, 70.1%, 50.6%, and 59.9% on six datasets, respectively. In 50-shot learning, we further improved the average F1 scores by 1.0% compared to the baseline method, reaching 73.1%, 86.8%, 76.1%, 75.6%, 61.7%, and 65.4%, respectively. We reported that in the realm of few-shot learning BioNER, MRC-based language models are much more proficient in recognizing biomedical entities compared to the sequence labeling approach. Furthermore, our MRC-language models can compete successfully with fully-supervised learning methodologies that rely heavily on the availability of abundant annotated data. These results highlight possible pathways for future advancements in few-shot BioNER methodologies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google