Intent Detection and Entity Extraction from BioMedical Literature

要約

生物医学文献へのアクセスに対する関心の高まりを反映して、生物医学クエリは Web 検索でますます普及しています。
大規模言語モデル (LLM) に関する最近の研究は、一般化された知能を達成するための努力によって動機付けられているにもかかわらず、タスクやドメイン固有の自然言語理解アプローチを置き換える有効性には疑問が残ります。
この論文では、生物医学テキストからの意図検出および固有表現認識 (NER) タスクの包括的な経験的評価を実行することで、この問題に取り組みます。
私たちは、教師あり微調整アプローチが依然として適切であり、汎用 LLM よりも効果的であることを示します。
PubMedBERT などの生物医学変換モデルは、わずか 5 つの教師付きサンプルで NER タスクで ChatGPT を超えることができます。

要約(オリジナル)

Biomedical queries have become increasingly prevalent in web searches, reflecting the growing interest in accessing biomedical literature. Despite recent research on large-language models (LLMs) motivated by endeavours to attain generalized intelligence, their efficacy in replacing task and domain-specific natural language understanding approaches remains questionable. In this paper, we address this question by conducting a comprehensive empirical evaluation of intent detection and named entity recognition (NER) tasks from biomedical text. We show that Supervised Fine Tuned approaches are still relevant and more effective than general-purpose LLMs. Biomedical transformer models such as PubMedBERT can surpass ChatGPT on NER task with only 5 supervised examples.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google