OpenMedLM: Prompt engineering can out-perform fine-tuning in medical question-answering with open-source large language models

要約

LLM は、さまざまな特殊なタスクを実行できる能力がますます高まっており、医療知識への公平なアクセスを拡大するために利用できます。
ほとんどの医療 LLM には、特殊な医療データと、コストのかかる大量の計算能力を活用した広範な微調整が含まれています。
最高のパフォーマンスを誇る LLM の多くは独自のものであり、そのアクセスはごく少数の研究グループに限定されています。
ただし、オープンソース (OS) モデルは、パフォーマンスの大幅な向上と、医療に必要な透明性とコンプライアンスを提供する固有の機能により、医療 LLM にとって重要な成長分野となっています。
私たちは、医療ベンチマークで OS LLM に最先端 (SOTA) パフォーマンスを提供するプロンプト プラットフォームである OpenMedLM を紹介します。
私たちは、4 つの医療ベンチマーク (MedQA、MedMCQA、PubMedQA、MMLU 医療サブセット) で一連の OS 基盤 LLM (7B ～ 70B) を評価しました。
私たちは、ゼロショット、少数ショット、思考連鎖 (ランダム選択と kNN 選択)、アンサンブル/自己整合性投票など、一連のプロンプト戦略を採用しました。
OpenMedLM は、3 つの一般的な医療 LLM ベンチマークで OS SOTA 結果を提供し、計算コストのかかる広範な微調整を活用したこれまでの最高パフォーマンスの OS モデルを上回っていることがわかりました。
このモデルは、MedQA ベンチマークで 72.6% の精度を実現し、以前の SOTA を 2.4% 上回っています。また、MMLU 医療サブセットでは 81.7% の精度を達成し、このベンチマークで 80% の精度を超える最初の OS LLM としての地位を確立しています。
私たちの結果は、これまで他で文書化されていない OS LLM の医療特有の創発特性を強調し、迅速なエンジニアリングをさらに活用して医療アプリケーション向けにアクセス可能な LLM のパフォーマンスを向上させる利点を示しています。

要約(オリジナル)

LLMs have become increasingly capable at accomplishing a range of specialized-tasks and can be utilized to expand equitable access to medical knowledge. Most medical LLMs have involved extensive fine-tuning, leveraging specialized medical data and significant, thus costly, amounts of computational power. Many of the top performing LLMs are proprietary and their access is limited to very few research groups. However, open-source (OS) models represent a key area of growth for medical LLMs due to significant improvements in performance and an inherent ability to provide the transparency and compliance required in healthcare. We present OpenMedLM, a prompting platform which delivers state-of-the-art (SOTA) performance for OS LLMs on medical benchmarks. We evaluated a range of OS foundation LLMs (7B-70B) on four medical benchmarks (MedQA, MedMCQA, PubMedQA, MMLU medical-subset). We employed a series of prompting strategies, including zero-shot, few-shot, chain-of-thought (random selection and kNN selection), and ensemble/self-consistency voting. We found that OpenMedLM delivers OS SOTA results on three common medical LLM benchmarks, surpassing the previous best performing OS models that leveraged computationally costly extensive fine-tuning. The model delivers a 72.6% accuracy on the MedQA benchmark, outperforming the previous SOTA by 2.4%, and achieves 81.7% accuracy on the MMLU medical-subset, establishing itself as the first OS LLM to surpass 80% accuracy on this benchmark. Our results highlight medical-specific emergent properties in OS LLMs which have not yet been documented to date elsewhere, and showcase the benefits of further leveraging prompt engineering to improve the performance of accessible LLMs for medical applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google