A foundation model for human-AI collaboration in medical literature mining

要約

系統的な文献レビューは、臨床試験出版物の包括的な分析が必要であり、エビデンスに基づいた医療に不可欠です。
ただし、医学文献採掘のための人工知能（AI）モデルの適用は、広範な治療分野と多様なタスクにわたる不十分なトレーニングと評価によって制限されています。
ここでは、医学文献からの研究検索、スクリーニング、およびデータ抽出のためのAIファンデーションモデルであるリードを紹介します。
このモデルは、21,335の系統的レビュー、453,625の臨床試験出版物、および27,015の臨床試験登録からキュレーションされた633,759の指導データポイントでトレーニングされています。
リードは、6つのタスクで4つの最先端の一般的な大手言語モデル（LLM）にわたって一貫した改善を実証することを示しました。
さらに、リードは、高品質の結果を維持しながらプロセスを合理化し、プロセスを合理化することにより、専門家のワークフローを強化します。
14の異なる機関の16人の臨床医と医学研究者を対象とした研究では、リードと協力している専門家は、研究選択で単独で働いている0.77人の専門家と比較して0.81のリコールを達成し、時間を節約したことが22.6％であることが明らかになりました。
データ抽出タスクでは、リードを使用した専門家は、26.9％の時間節約に加えて、リードを使用せずに0.85に対して0.85の精度を達成しました。
これらの調査結果は、一般的なモデルを上回る専門の医学文献財団モデルの可能性を強調し、医学文献採掘の専門家ワークフローに統合された場合、重要な品質と効率の利点を提供します。

要約(オリジナル)

Systematic literature review is essential for evidence-based medicine, requiring comprehensive analysis of clinical trial publications. However, the application of artificial intelligence (AI) models for medical literature mining has been limited by insufficient training and evaluation across broad therapeutic areas and diverse tasks. Here, we present LEADS, an AI foundation model for study search, screening, and data extraction from medical literature. The model is trained on 633,759 instruction data points in LEADSInstruct, curated from 21,335 systematic reviews, 453,625 clinical trial publications, and 27,015 clinical trial registries. We showed that LEADS demonstrates consistent improvements over four cutting-edge generic large language models (LLMs) on six tasks. Furthermore, LEADS enhances expert workflows by providing supportive references following expert requests, streamlining processes while maintaining high-quality results. A study with 16 clinicians and medical researchers from 14 different institutions revealed that experts collaborating with LEADS achieved a recall of 0.81 compared to 0.77 experts working alone in study selection, with a time savings of 22.6%. In data extraction tasks, experts using LEADS achieved an accuracy of 0.85 versus 0.80 without using LEADS, alongside a 26.9% time savings. These findings highlight the potential of specialized medical literature foundation models to outperform generic models, delivering significant quality and efficiency benefits when integrated into expert workflows for medical literature mining.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google