LLM-Match: An Open-Sourced Patient Matching Model Based on Large Language Models and Retrieval-Augmented Generation

要約

患者のマッチングとは、医療記録を試験の適格性基準と正確に特定して一致させることにより、患者を適切な臨床試験にリンクするプロセスです。
LLM-Matchを提案します。LLM-Matchは、微調整されたオープンソースの大型言語モデルを活用する患者マッチングの新しいフレームワークです。
私たちのアプローチは、4つの重要なコンポーネントで構成されています。
第一に、検索された生成（RAG）モジュールは、電子健康記録の広大なプール（EHRS）から関連する患者のコンテキストを抽出します。
第二に、プロンプト生成モジュールは、試行資格基準（包含および除外基準の両方）、患者のコンテキスト、およびシステム命令を統合することにより、入力プロンプトを構築します。
第三に、分類ヘッドを備えた微調整モジュールは、構造化されたプロンプトとグラウンドトゥルースラベルを使用してモデルパラメーターを最適化します。
第4に、評価モジュールは、テストデータセットでの微調整されたモデルのパフォーマンスを評価します。
オープンソースモデルを使用して、N2C2、SIGIR、SIGIR、TREC 2021、およびTREC 2022の4つのオープンデータセットでLLMマッチを評価し、TrialGPT、ゼロショット、およびGPT-4ベースの閉じたモデルと比較しました。
LLMマッチはすべてのベースラインを上回りました。

要約(オリジナル)

Patient matching is the process of linking patients to appropriate clinical trials by accurately identifying and matching their medical records with trial eligibility criteria. We propose LLM-Match, a novel framework for patient matching leveraging fine-tuned open-source large language models. Our approach consists of four key components. First, a retrieval-augmented generation (RAG) module extracts relevant patient context from a vast pool of electronic health records (EHRs). Second, a prompt generation module constructs input prompts by integrating trial eligibility criteria (both inclusion and exclusion criteria), patient context, and system instructions. Third, a fine-tuning module with a classification head optimizes the model parameters using structured prompts and ground-truth labels. Fourth, an evaluation module assesses the fine-tuned model’s performance on the testing datasets. We evaluated LLM-Match on four open datasets, n2c2, SIGIR, TREC 2021, and TREC 2022, using open-source models, comparing it against TrialGPT, Zero-Shot, and GPT-4-based closed models. LLM-Match outperformed all baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google