Matching Patients to Clinical Trials with Large Language Models

要約

臨床試験は医薬品開発や科学的根拠に基づいた医療を進める上で不可欠ですが、患者募集における課題によってその成功が妨げられることがよくあります。
この研究では、個々の患者や紹介医師が広範な選択肢の中から適切な臨床試験を特定するのを支援する大規模言語モデル (LLM) の可能性を調査します。
具体的には、LLM を使用して詳細な説明とともに基準レベルの適格性を予測する新しいアーキテクチャである TrialGPT を紹介します。その後、自由記述の患者メモに基づいて、候補臨床試験をランク付けして除外するために集計されます。
私たちは、184 人の患者と 18,238 件の注釈付き臨床試験からなる 3 つの公的に利用可能なコホートで TrialGPT を評価します。
実験結果は、いくつかの重要な発見を示しています。 まず、TrialGPT は、忠実な説明により基準レベルの高い予測精度を達成します。
第 2 に、集計された試験レベルの TrialGPT スコアは、専門家の適格性の注釈と高度に相関しています。
第三に、これらのスコアは臨床試験のランク付けに有効であることが証明され、不適格な候補者を除外します。
私たちのエラー分析は、現在の LLM が医学的知識とドメイン固有のコンテキストの理解が限られているために依然としていくつかの間違いを犯していることを示唆しています。
それにもかかわらず、私たちは LLM の説明能力が非常に価値があると信じています。
このような AI アシスタントを現実世界の日常的な治験照合ワークフローに統合して効率を向上させる方法については、今後の研究が保証されます。

要約(オリジナル)

Clinical trials are vital in advancing drug development and evidence-based medicine, but their success is often hindered by challenges in patient recruitment. In this work, we investigate the potential of large language models (LLMs) to assist individual patients and referral physicians in identifying suitable clinical trials from an extensive selection. Specifically, we introduce TrialGPT, a novel architecture employing LLMs to predict criterion-level eligibility with detailed explanations, which are then aggregated for ranking and excluding candidate clinical trials based on free-text patient notes. We evaluate TrialGPT on three publicly available cohorts of 184 patients and 18,238 annotated clinical trials. The experimental results demonstrate several key findings: First, TrialGPT achieves high criterion-level prediction accuracy with faithful explanations. Second, the aggregated trial-level TrialGPT scores are highly correlated with expert eligibility annotations. Third, these scores prove effective in ranking clinical trials and exclude ineligible candidates. Our error analysis suggests that current LLMs still make some mistakes due to limited medical knowledge and domain-specific context understanding. Nonetheless, we believe the explanatory capabilities of LLMs are highly valuable. Future research is warranted on how such AI assistants can be integrated into the routine trial matching workflow in real-world settings to improve its efficiency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google