Real-world validation of a multimodal LLM-powered pipeline for High-Accuracy Clinical Trial Patient Matching leveraging EHR data

要約

背景：臨床試験での患者の募集は、複雑な適格性基準と労働集約的なチャートレビューによって妨げられています。
テキストのみのモデルを使用した以前の研究は、（1）限られた推論能力、（2）視覚記録をテキストに変換することからの情報の損失、および（3）患者データを抽出するための一般的なEHR統合の欠如により、信頼できるスケーラブルな方法でこの問題に対処するのに苦労しています。
方法：EHRから抽出​​された未処理のドキュメントを使用して患者の試行マッチングを自動化する、広く適用可能な統合、統合、LLM駆動のパイプラインを紹介します。
私たちのアプローチは、（1）新しい推論-LLMパラダイムを活用し、最も複雑な基準の評価を可能にします。
パイプラインは、N2C2 2018コホート選択データセット（288人の糖尿病患者）と、36の多様な試験と一致した30の異なる部位の485人の患者で構成される実際のデータセットで検証されました。
結果：N2C2データセットでは、この方法で93 \％の新しい最先端の基準レベルの精度を達成しました。
実際の試験では、パイプラインは87 \％の精度を生み出しました。これは、医療記録に十分な情報がない場合に人間の意思決定を再現するのが難しいことによって損なわれました。
それにもかかわらず、ユーザーは患者あたり平均9分未満で全体的な適格性をレビューすることができ、従来のマニュアルチャートレビューよりも80％の改善を表しています。
結論：このパイプラインは、サイトシステムとのカスタム統合や試行固有の仕立てを必要とせずに臨床試験患者マッチングで堅牢なパフォーマンスを示し、それにより、患者マッチングのためにAIを活用しようとするサイト全体でスケーラブルな展開を可能にします。

要約(オリジナル)

Background: Patient recruitment in clinical trials is hindered by complex eligibility criteria and labor-intensive chart reviews. Prior research using text-only models have struggled to address this problem in a reliable and scalable way due to (1) limited reasoning capabilities, (2) information loss from converting visual records to text, and (3) lack of a generic EHR integration to extract patient data. Methods: We introduce a broadly applicable, integration-free, LLM-powered pipeline that automates patient-trial matching using unprocessed documents extracted from EHRs. Our approach leverages (1) the new reasoning-LLM paradigm, enabling the assessment of even the most complex criteria, (2) visual capabilities of latest LLMs to interpret medical records without lossy image-to-text conversions, and (3) multimodal embeddings for efficient medical record search. The pipeline was validated on the n2c2 2018 cohort selection dataset (288 diabetic patients) and a real-world dataset composed of 485 patients from 30 different sites matched against 36 diverse trials. Results: On the n2c2 dataset, our method achieved a new state-of-the-art criterion-level accuracy of 93\%. In real-world trials, the pipeline yielded an accuracy of 87\%, undermined by the difficulty to replicate human decision-making when medical records lack sufficient information. Nevertheless, users were able to review overall eligibility in under 9 minutes per patient on average, representing an 80\% improvement over traditional manual chart reviews. Conclusion: This pipeline demonstrates robust performance in clinical trial patient matching without requiring custom integration with site systems or trial-specific tailoring, thereby enabling scalable deployment across sites seeking to leverage AI for patient matching.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google