LLMs are not Zero-Shot Reasoners for Biomedical Information Extraction

要約

大規模言語モデル (LLM) は医療分野のアプリケーションに採用されることが増えており、質問応答や文書の要約などのタスクにおいて分野専門家のパフォーマンスに達しています。
これらのタスクでは LLM が成功したにもかかわらず、構造化情報の抽出など、生物医学分野で伝統的に追求されてきたタスクで LLM がどの程度うまく機能するかは不明です。
このギャップを埋めるために、このホワイトペーパーでは、医療分類および固有表現認識 (NER) タスクにおける LLM のパフォーマンスを体系的にベンチマークします。
私たちは、パフォーマンスに対するさまざまな要因の寄与、特に LLM のタスク知識と推論能力、(パラメトリック) ドメイン知識、外部知識の追加の影響を解きほぐすことを目指しています。
この目的を達成するために、標準的なプロンプト、思考連鎖 (CoT)、および自己一貫性ベースの推論と検索を使用して、生物医学データセットの多様なセット上で、BioMistral モデルや Llama-2 モデルを含むさまざまなオープン LLM を評価します。
PubMed と Wikipedia コーパスを使用した拡張生成 (RAG)。
直感に反しますが、私たちの結果は、標準的なプロンプトが両方のタスクにわたってより複雑な手法よりも一貫して優れていることを明らかにし、生物医学領域における CoT、自己一貫性、および RAG の現在の適用における限界を明らかにしています。
私たちの調査結果は、CoT や RAG など、知識や推論が集中するタスク向けに開発された高度なプロンプト手法は、正確に構造化された出力が必要とされる生物医学的タスクには簡単に移植できないことを示唆しています。
これは、現実世界の生物医学応用におけるパフォーマンスを向上させるために、外部の知識と LLM の推論メカニズムをより効果的に統合する必要性を浮き彫りにしています。

要約(オリジナル)

Large Language Models (LLMs) are increasingly adopted for applications in healthcare, reaching the performance of domain experts on tasks such as question answering and document summarisation. Despite their success on these tasks, it is unclear how well LLMs perform on tasks that are traditionally pursued in the biomedical domain, such as structured information extration. To breach this gap, in this paper, we systematically benchmark LLM performance in Medical Classification and Named Entity Recognition (NER) tasks. We aim to disentangle the contribution of different factors to the performance, particularly the impact of LLMs’ task knowledge and reasoning capabilities, their (parametric) domain knowledge, and addition of external knowledge. To this end we evaluate various open LLMs — including BioMistral and Llama-2 models — on a diverse set of biomedical datasets, using standard prompting, Chain-of-Thought (CoT) and Self-Consistency based reasoning as well as Retrieval-Augmented Generation (RAG) with PubMed and Wikipedia corpora. Counter-intuitively, our results reveal that standard prompting consistently outperforms more complex techniques across both tasks, laying bare the limitations in the current application of CoT, self-consistency and RAG in the biomedical domain. Our findings suggest that advanced prompting methods developed for knowledge- or reasoning-intensive tasks, such as CoT or RAG, are not easily portable to biomedical tasks where precise structured outputs are required. This highlights the need for more effective integration of external knowledge and reasoning mechanisms in LLMs to enhance their performance in real-world biomedical applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google