Establishing Rigorous and Cost-effective Clinical Trials for Artificial Intelligence Models

要約

人工知能 (AI) と医療の臨床現場の間には依然として大きな溝があり、その主な原因は、厳密で費用対効果の高い評価手法が欠如していることです。
最先端および最先端の AI モデルの評価は、医療データセットに関する実験室研究、またはまったく患者中心の制御を行わない、または患者中心の制御のみを伴う直接臨床試験に限定されます。
さらに、AI が臨床実践に及ぼす影響を判断する上で極めて重要である、AI との連携における臨床医の重要な役割は、しばしば見落とされています。
私たちは初めて、患者/臨床医中心（二重中心）の AI ランダム化比較試験（DC-AI RCT）と仮想臨床医を特徴とする、臨床現場における AI モデルの厳密で費用対効果の高い評価方法論の重要な必要性を強調します。
DC-AI RCT の効果的な代替手段としてのインシリコ試験 (VC-MedAI) に基づいています。
125 人の臨床医を擁する 14 の医療センターにわたる 2 段階の最初の DC-AI RCT からの 7,500 件の診断記録を活用した私たちの結果は、DC-AI RCT の必要性と VC-MedAI の有効性を実証しています。
注目すべきことに、VC-MedAI は人間の臨床医と同等のパフォーマンスを発揮し、将来の DC-AI RCT からの洞察と結論を再現します。
私たちは、DC-AI RCT と VC-MedAI を極めて重要な進歩として構想し、臨床現場における AI モデルの革新的かつ革新的な評価方法論を提示し、従来の医学を反映した前臨床のような設定を提供し、費用対効果が高く、迅速な反復で開発パラダイムを再構築します。
やり方。
中国の臨床試験登録: ChiCTR2400086816。

要約(オリジナル)

A profound gap persists between artificial intelligence (AI) and clinical practice in medicine, primarily due to the lack of rigorous and cost-effective evaluation methodologies. State-of-the-art and state-of-the-practice AI model evaluations are limited to laboratory studies on medical datasets or direct clinical trials with no or solely patient-centered controls. Moreover, the crucial role of clinicians in collaborating with AI, pivotal for determining its impact on clinical practice, is often overlooked. For the first time, we emphasize the critical necessity for rigorous and cost-effective evaluation methodologies for AI models in clinical practice, featuring patient/clinician-centered (dual-centered) AI randomized controlled trials (DC-AI RCTs) and virtual clinician-based in-silico trials (VC-MedAI) as an effective proxy for DC-AI RCTs. Leveraging 7500 diagnosis records from two-phase inaugural DC-AI RCTs across 14 medical centers with 125 clinicians, our results demonstrate the necessity of DC-AI RCTs and the effectiveness of VC-MedAI. Notably, VC-MedAI performs comparably to human clinicians, replicating insights and conclusions from prospective DC-AI RCTs. We envision DC-AI RCTs and VC-MedAI as pivotal advancements, presenting innovative and transformative evaluation methodologies for AI models in clinical practice, offering a preclinical-like setting mirroring conventional medicine, and reshaping development paradigms in a cost-effective and fast-iterative manner. Chinese Clinical Trial Registration: ChiCTR2400086816.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google