Multimodal Doctor-in-the-Loop: A Clinically-Guided Explainable Framework for Predicting Pathological Response in Non-Small Cell Lung Cancer

要約

本研究では、ネオアジュバント療法を受ける非小細胞肺がん患者の病理学的奏効を予測するために、マルチモーダル深層学習と内在的エクスプレナブル人工知能技術を組み合わせた新しいアプローチを提案する。既存のラジオミクスと単一モダルのディープラーニングアプローチには限界があるため、画像データと臨床データを統合する中間融合戦略を導入し、データモダリティ間の効率的な相互作用を可能にする。提案するMultimodal Doctor-in-the-Loop法は、臨床医の領域知識を学習プロセスに直接埋め込むことにより、臨床との関連性をさらに高め、モデルの焦点をより広い肺領域から特定の病変へと徐々に誘導する。その結果、予測精度と説明可能性の向上が実証され、臨床応用のための最適なデータ統合戦略に関する洞察を提供する。

要約(オリジナル)

This study proposes a novel approach combining Multimodal Deep Learning with intrinsic eXplainable Artificial Intelligence techniques to predict pathological response in non-small cell lung cancer patients undergoing neoadjuvant therapy. Due to the limitations of existing radiomics and unimodal deep learning approaches, we introduce an intermediate fusion strategy that integrates imaging and clinical data, enabling efficient interaction between data modalities. The proposed Multimodal Doctor-in-the-Loop method further enhances clinical relevance by embedding clinicians’ domain knowledge directly into the training process, guiding the model’s focus gradually from broader lung regions to specific lesions. Results demonstrate improved predictive accuracy and explainability, providing insights into optimal data integration strategies for clinical applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL