Intent Detection and Entity Extraction from BioMedical Literature

要約

生物医学文献へのアクセスに対する関心の高まりを反映し、ウェブ検索において生物医学クエリがますます多くなってきている。一般化された知能を達成しようとする努力に動機づけられた大規模言語モデル（LLM）に関する最近の研究にもかかわらず、タスクやドメイン固有の自然言語理解アプローチに取って代わるLLMの有効性には疑問が残る。本論文では、生物医学テキストからの意図検出と名前付きエンティティ認識（NER）タスクの包括的な経験的評価を行うことで、この疑問に取り組む。我々は、教師ありファインチューニングアプローチが依然として適切であり、汎用LLMよりも効果的であることを示す。PubMedBERTのようなバイオメディカル変換モデルは、たった5つの教師ありの例でChatGPTを上回ることができる。

要約(オリジナル)

Biomedical queries have become increasingly prevalent in web searches, reflecting the growing interest in accessing biomedical literature. Despite recent research on large-language models (LLMs) motivated by endeavours to attain generalized intelligence, their efficacy in replacing task and domain-specific natural language understanding approaches remains questionable. In this paper, we address this question by conducting a comprehensive empirical evaluation of intent detection and named entity recognition (NER) tasks from biomedical text. We show that Supervised Fine Tuned approaches are still relevant and more effective than general-purpose LLMs. Biomedical transformer models such as PubMedBERT can surpass ChatGPT on NER task with only 5 supervised examples.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL