A Comparative Study of Open-Source Large Language Models, GPT-4 and Claude 2: Multiple-Choice Test Taking in Nephrology

要約

近年、自然言語処理の分野では、特に大規模言語モデル (LLM) の開発により大きな進歩が見られました。
これらの LLM は、さまざまなベンチマークで優れた機能を実証しています。
ヘルスケア分野では、LLM やその他の将来の AI モデルが果たす正確な役割はまだ不明です。
これらのモデルは、将来的には適応型医師トレーニング、医療副操縦士アプリケーション、デジタル患者対話シナリオの一部として使用される可能性があります。
AI モデルが医療訓練や患者ケアに参加できるかどうかは、AI モデルが特定の医療分野の知識内容を習得しているかどうかに一部依存します。
この研究では、LLM の医学知識能力、特に内科サブ専門分野の多肢選択試験受験能力の観点から調査しました。
私たちは、腎臓学の分野における多肢選択式の質問について、いくつかのオープンソース LLM (Koala 7B、Falcon 7B、Stable-Vicuna 13B、および Orca Mini 13B) のパフォーマンスを GPT-4 および Claude 2 と比較しました。
腎臓学は、内科の中でも特に概念的に複雑な専門分野の例として選ばれました。
この研究は、nephSAP (腎臓学自己評価プログラム) の多肢選択式質問に正解を提供する LLM モデルの能力を評価するために実施されました。
オープンソース LLM が 858 個の nephSAP 多肢選択式質問に正解した全体的な成功率は 17.1% ～ 25.5% でした。
対照的に、Claude 2 は質問の 54.4% に正解しましたが、GPT-4 は 73.3% のスコアを達成しました。
現在広く使用されているオープンソースの LLM は、GPT-4 や Claude 2 と比較した場合、ゼロショット推論の能力が不十分であることを示します。この研究の結果は、サブスペシャリティの医療訓練と患者ケアの将来に重大な影響を与える可能性があります。

要約(オリジナル)

In recent years, there have been significant breakthroughs in the field of natural language processing, particularly with the development of large language models (LLMs). These LLMs have showcased remarkable capabilities on various benchmarks. In the healthcare field, the exact role LLMs and other future AI models will play remains unclear. There is a potential for these models in the future to be used as part of adaptive physician training, medical co-pilot applications, and digital patient interaction scenarios. The ability of AI models to participate in medical training and patient care will depend in part on their mastery of the knowledge content of specific medical fields. This study investigated the medical knowledge capability of LLMs, specifically in the context of internal medicine subspecialty multiple-choice test-taking ability. We compared the performance of several open-source LLMs (Koala 7B, Falcon 7B, Stable-Vicuna 13B, and Orca Mini 13B), to GPT-4 and Claude 2 on multiple-choice questions in the field of Nephrology. Nephrology was chosen as an example of a particularly conceptually complex subspecialty field within internal medicine. The study was conducted to evaluate the ability of LLM models to provide correct answers to nephSAP (Nephrology Self-Assessment Program) multiple-choice questions. The overall success of open-sourced LLMs in answering the 858 nephSAP multiple-choice questions correctly was 17.1% – 25.5%. In contrast, Claude 2 answered 54.4% of the questions correctly, whereas GPT-4 achieved a score of 73.3%. We show that current widely used open-sourced LLMs do poorly in their ability for zero-shot reasoning when compared to GPT-4 and Claude 2. The findings of this study potentially have significant implications for the future of subspecialty medical training and patient care.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google