End-To-End Clinical Trial Matching with Large Language Models

要約

がん患者と臨床試験をマッチングすることは、治療と患者ケアを進歩させるために不可欠です。
しかし、医療フリーテキスト文書の形式が一貫しておらず、治験の適格基準が複雑であるため、医師にとってこのプロセスは非常に困難で時間がかかります。
私たちは、clinicaltrials.gov 上の 105,600 件の腫瘍関連臨床試験の中から関連する試験の特定から、基準レベルの適格性の一致の生成まで、試験マッチング プロセス全体を大規模言語モデル (LLM) を使用して自動化できるかどうかを調査しました。
GPT-4o と 51 の合成電子医療記録 (EHR) のセットを使用して、私たちのアプローチが症例の 93.3% で関連する候補試験を特定し、患者レベルの情報を基準レベルで照合する際に 88.0% の予備精度を達成することを実証しました。
人間の専門家によって定義されたベースライン。
LLM フィードバックを利用すると、当初は不正確であると考えられていた 39.3% の基準があいまいであるか不正確に注釈が付けられていることが明らかになり、人間のベースラインを改良した後のモデルの合計精度は 92.7% になります。
要約すると、LLM を使用した臨床試験マッチングのためのエンドツーエンドのパイプラインを紹介します。これは、個々の患者に対する試験のスクリーニングとマッチングにおいて高い精度を実証し、資格のある医師のパフォーマンスをも上回るパフォーマンスを示します。
当社の完全にエンドツーエンドのパイプラインは自律的に、または人間の監督下で動作でき、腫瘍学に限定されず、現実の環境で患者と治験のマッチングを強化するためのスケーラブルなソリューションを提供します。

要約(オリジナル)

Matching cancer patients to clinical trials is essential for advancing treatment and patient care. However, the inconsistent format of medical free text documents and complex trial eligibility criteria make this process extremely challenging and time-consuming for physicians. We investigated whether the entire trial matching process – from identifying relevant trials among 105,600 oncology-related clinical trials on clinicaltrials.gov to generating criterion-level eligibility matches – could be automated using Large Language Models (LLMs). Using GPT-4o and a set of 51 synthetic Electronic Health Records (EHRs), we demonstrate that our approach identifies relevant candidate trials in 93.3% of cases and achieves a preliminary accuracy of 88.0% when matching patient-level information at the criterion level against a baseline defined by human experts. Utilizing LLM feedback reveals that 39.3% criteria that were initially considered incorrect are either ambiguous or inaccurately annotated, leading to a total model accuracy of 92.7% after refining our human baseline. In summary, we present an end-to-end pipeline for clinical trial matching using LLMs, demonstrating high precision in screening and matching trials to individual patients, even outperforming the performance of qualified medical doctors. Our fully end-to-end pipeline can operate autonomously or with human supervision and is not restricted to oncology, offering a scalable solution for enhancing patient-trial matching in real-world settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google