Zero-Shot Clinical Trial Patient Matching with LLMs

要約

患者を臨床試験にマッチングさせることは、新薬を市場に出す上での重要な未解決の課題です。
現在、治験の適格基準を満たす患者の特定は非常に手作業で行われており、患者 1 人あたり最大 1 時間かかります。
ただし、自動スクリーニングは、構造化されていない臨床テキストを理解する必要があるため、困難です。
大規模言語モデル (LLM) は、有望なソリューションを提供します。
この研究では、トライアルマッチングへの応用を検討します。
まず、患者の病歴を非構造化臨床テキストとして指定し、その患者が一連の包含基準 (フリーテキストとしても指定) を満たしているかどうかを評価する LLM ベースのシステムを設計します。
当社のゼロショット システムは、n2c2 2018 コホート選択ベンチマークで最先端のスコアを達成しました。
次に、現状よりも一桁早く、より安価に患者をマッチングするプロンプト戦略を特定することで、データと手法のコスト効率を改善し、アップで処理されるトークンの数を削減する 2 段階の検索パイプラインを開発します。
高いパフォーマンスを維持しながら 3 分の 1 に削減します。
第三に、適格性の決定ごとに LLM によって生成された自然言語による正当化を臨床医に評価させることでシステムの解釈可能性を評価し、正しい決定の 97% と不正確な決定の 75% について一貫した説明を出力できることを示します。
私たちの結果は、LLM を使用して臨床試験の運用を加速する実現可能性を証明します。

要約(オリジナル)

Matching patients to clinical trials is a key unsolved challenge in bringing new drugs to market. Today, identifying patients who meet a trial’s eligibility criteria is highly manual, taking up to 1 hour per patient. Automated screening is challenging, however, as it requires understanding unstructured clinical text. Large language models (LLMs) offer a promising solution. In this work, we explore their application to trial matching. First, we design an LLM-based system which, given a patient’s medical history as unstructured clinical text, evaluates whether that patient meets a set of inclusion criteria (also specified as free text). Our zero-shot system achieves state-of-the-art scores on the n2c2 2018 cohort selection benchmark. Second, we improve the data and cost efficiency of our method by identifying a prompting strategy which matches patients an order of magnitude faster and more cheaply than the status quo, and develop a two-stage retrieval pipeline that reduces the number of tokens processed by up to a third while retaining high performance. Third, we evaluate the interpretability of our system by having clinicians evaluate the natural language justifications generated by the LLM for each eligibility decision, and show that it can output coherent explanations for 97% of its correct decisions and 75% of its incorrect ones. Our results establish the feasibility of using LLMs to accelerate clinical trial operations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google