Generative Large Language Models are autonomous practitioners of evidence-based medicine

要約

背景: 証拠に基づく医療 (EBM) は現代の臨床実践の基礎であり、臨床医は知識を継続的に更新し、患者ケアに最良の臨床証拠を適用する必要があります。
EBM の実践は、医学研究の急速な進歩により課題に直面しており、臨床医に情報過多が生じています。
人工知能 (AI)、特に生成大規模言語モデル (LLM) の統合は、この複雑さを管理するための有望なソリューションを提供します。
方法: この研究には、さまざまな専門分野にわたる実際の臨床症例を収集し、分析のために .json ファイルに変換することが含まれていました。
ChatGPT 3.5 および 4、Gemini Pro などの独自モデル、および LLaMA v2 や Mixtral-8x7B などのオープンソース モデルを含む LLM が採用されました。
これらのモデルには、症例ファイルから情報を取得し、臨床医が現実世界でどのように業務を行うのと同様の臨床上の意思決定を行うためのツールが装備されていました。
モデルのパフォーマンスは、最終回答の正確さ、ツールの賢明な使用、ガイドラインへの準拠、幻覚への耐性に基づいて評価されました。
結果: GPT-4 は臨床現場で最も自律的に動作する能力があり、関連する調査を指示し、臨床ガイドラインに準拠するのに一般的により効果的でした。
複雑なガイドラインや診断上の微妙な違いを処理するモデルの能力の点で限界が観察されました。
検索拡張生成により、患者と医療システムに合わせてよりカスタマイズされた推奨事項が作成されました。
結論: LLM は、科学的根拠に基づいた医療の自律的な実践者として機能することができます。
ツールを利用する能力を利用して、現実世界の医療システムのインフラストラクチャと対話し、ガイドラインに基づいた方法で患者管理のタスクを実行できます。
迅速なエンジニアリングは、この可能性をさらに高め、臨床医と患者の医療を変革するのに役立つ可能性があります。

要約(オリジナル)

Background: Evidence-based medicine (EBM) is fundamental to modern clinical practice, requiring clinicians to continually update their knowledge and apply the best clinical evidence in patient care. The practice of EBM faces challenges due to rapid advancements in medical research, leading to information overload for clinicians. The integration of artificial intelligence (AI), specifically Generative Large Language Models (LLMs), offers a promising solution towards managing this complexity. Methods: This study involved the curation of real-world clinical cases across various specialties, converting them into .json files for analysis. LLMs, including proprietary models like ChatGPT 3.5 and 4, Gemini Pro, and open-source models like LLaMA v2 and Mixtral-8x7B, were employed. These models were equipped with tools to retrieve information from case files and make clinical decisions similar to how clinicians must operate in the real world. Model performance was evaluated based on correctness of final answer, judicious use of tools, conformity to guidelines, and resistance to hallucinations. Results: GPT-4 was most capable of autonomous operation in a clinical setting, being generally more effective in ordering relevant investigations and conforming to clinical guidelines. Limitations were observed in terms of model ability to handle complex guidelines and diagnostic nuances. Retrieval Augmented Generation made recommendations more tailored to patients and healthcare systems. Conclusions: LLMs can be made to function as autonomous practitioners of evidence-based medicine. Their ability to utilize tooling can be harnessed to interact with the infrastructure of a real-world healthcare system and perform the tasks of patient management in a guideline directed manner. Prompt engineering may help to further enhance this potential and transform healthcare for the clinician and the patient.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google