PRISM: Patient Records Interpretation for Semantic Clinical Trial Matching using Large Language Models

要約

臨床試験のマッチングは、患者が潜在的に適格である可能性のある臨床試験を特定するタスクです。
通常、この作業は労働集約的であり、臨床試験の厳格な包含基準および除外基準に照らして患者の電子医療記録 (EHR) を詳細に検証する必要があります。
このプロセスは手動で時間がかかり、規模を拡大するのが難しいため、多くの患者が潜在的な治療オプションを逃しています。
大規模言語モデル (LLM) の最近の進歩により、複数の同時研究研究で示されているように、患者と治験の照合の自動化が可能になりました。
ただし、現在のアプローチは、現実世界の医療データで遭遇する複雑さを適切に反映していない、制約のある合成データセットに限定されています。
この研究では、現実世界の EHR を使用した臨床試験マッチングの最初のエンドツーエンドの大規模実証評価を紹介します。
私たちの研究は、患者と適切な臨床試験を正確にマッチングする LLM の能力を示しています。
私たちは、GPT-4 や GPT-3.5 などの独自の LLM と、OncoLLM と呼ばれるカスタム微調整モデルを使用して実験を実行し、OncoLLM がサイズが大幅に小さいにもかかわらず、GPT-3.5 を上回るパフォーマンスを発揮するだけでなく、GPT-3.5 のパフォーマンスにも匹敵することを示しました。
資格のある医師。
すべての実験は、米国の単一がんセンターからの臨床記録と利用可能な臨床試験を含む実際の EHR で実行されました。

要約(オリジナル)

Clinical trial matching is the task of identifying trials for which patients may be potentially eligible. Typically, this task is labor-intensive and requires detailed verification of patient electronic health records (EHRs) against the stringent inclusion and exclusion criteria of clinical trials. This process is manual, time-intensive, and challenging to scale up, resulting in many patients missing out on potential therapeutic options. Recent advancements in Large Language Models (LLMs) have made automating patient-trial matching possible, as shown in multiple concurrent research studies. However, the current approaches are confined to constrained, often synthetic datasets that do not adequately mirror the complexities encountered in real-world medical data. In this study, we present the first, end-to-end large-scale empirical evaluation of clinical trial matching using real-world EHRs. Our study showcases the capability of LLMs to accurately match patients with appropriate clinical trials. We perform experiments with proprietary LLMs, including GPT-4 and GPT-3.5, as well as our custom fine-tuned model called OncoLLM and show that OncoLLM, despite its significantly smaller size, not only outperforms GPT-3.5 but also matches the performance of qualified medical doctors. All experiments were carried out on real-world EHRs that include clinical notes and available clinical trials from a single cancer center in the United States.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google