Evaluating Large Language Models for Radiology Natural Language Processing

要約

大規模言語モデル (LLM) の台頭は、自然言語処理 (NLP) の分野に極めて重要な変化をもたらしました。
LLM は多くの領域に革命をもたらし、医療分野に大きな影響を与えてきました。
大規模な言語モデルはかつてないほど豊富になり、これらのモデルの多くは英語と中国語の両方に堪能なバイリンガル機能を示します。
ただし、これらのモデルの包括的な評価はまだ行われていません。
この評価の欠如は、放射線学の NLP の文脈において特に顕著です。
この研究は、放射線医学 NLP の重要な要素である放射線医学レポートの解釈において 32 の LLM を批判的に評価することで、このギャップを埋めることを目指しています。
具体的には、放射線所見から印象を導き出す能力が評価されます。
この評価の結果は、これらの LLM のパフォーマンス、長所、短所に関する重要な洞察を提供し、医療分野での実際のアプリケーションに情報を提供します。

要約(オリジナル)

The rise of large language models (LLMs) has marked a pivotal shift in the field of natural language processing (NLP). LLMs have revolutionized a multitude of domains, and they have made a significant impact in the medical field. Large language models are now more abundant than ever, and many of these models exhibit bilingual capabilities, proficient in both English and Chinese. However, a comprehensive evaluation of these models remains to be conducted. This lack of assessment is especially apparent within the context of radiology NLP. This study seeks to bridge this gap by critically evaluating thirty two LLMs in interpreting radiology reports, a crucial component of radiology NLP. Specifically, the ability to derive impressions from radiologic findings is assessed. The outcomes of this evaluation provide key insights into the performance, strengths, and weaknesses of these LLMs, informing their practical applications within the medical domain.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google