CTP-LLM: Clinical Trial Phase Transition Prediction Using Large Language Models

要約

新しい治療法の開発には複数段階の臨床試験が必要です。
医薬品を市場に出すには多大な人的および経済的コストがかかるにもかかわらず、試験段階にある医薬品のうち第 1 段階から最終承認までに至るのは 20% 未満です。
最近の文献では、治験プロトコルの設計が治験のパフォーマンスに大きく貢献していることが示されています。
私たちは、試験設計書を使用して相転移を自動的に予測する臨床試験結果予測 (CTOP) を調査しました。
我々は、CTOP 用の最初の大規模言語モデル (LLM) ベースのモデルである CTP-LLM を提案します。
PhaseTransition (PT) データセットも紹介します。
これは、規制プロセスの進行状況に基づいて試験にラベルを付け、CTOP 評価のベンチマークとして機能します。
当社の微調整された GPT-3.5 ベースのモデル (CTP-LLM) は、人間が選択した特徴を必要とせずに、治験の元のプロトコルテキストを分析することによって臨床試験の相移行を予測します。
CTP-LLM は、すべてのフェーズにわたる治験フェーズ移行の予測で 67% の精度を達成し、特にフェーズ III から最終承認への移行の予測では 75% の精度を達成しています。
当社の実験パフォーマンスは、臨床試験結果の予測と試験設計の評価における LLM を利用したアプリケーションの可能性を浮き彫りにしています。

要約(オリジナル)

New medical treatment development requires multiple phases of clinical trials. Despite the significant human and financial costs of bringing a drug to market, less than 20% of drugs in testing will make it from the first phase to final approval. Recent literature indicates that the design of the trial protocols significantly contributes to trial performance. We investigated Clinical Trial Outcome Prediction (CTOP) using trial design documents to predict phase transitions automatically. We propose CTP-LLM, the first Large Language Model (LLM) based model for CTOP. We also introduce the PhaseTransition (PT) Dataset; which labels trials based on their progression through the regulatory process and serves as a benchmark for CTOP evaluation. Our fine-tuned GPT-3.5-based model (CTP-LLM) predicts clinical trial phase transition by analyzing the trial’s original protocol texts without requiring human-selected features. CTP-LLM achieves a 67% accuracy rate in predicting trial phase transitions across all phases and a 75% accuracy rate specifically in predicting the transition from Phase~III to final approval. Our experimental performance highlights the potential of LLM-powered applications in forecasting clinical trial outcomes and assessing trial design.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google