RobSurv: Vector Quantization-Based Multi-Modal Learning for Robust Cancer Survival Prediction

要約

マルチモーダル医用画像を用いたがん生存予測は、主にディープラーニングモデルがノイズや画像診断センター間のプロトコルのばらつきに対して脆弱であるため、腫瘍学において重大な課題を提示している。現在のアプローチは、不均一なCTやPET画像から一貫性のある特徴を抽出するのに苦労しており、臨床への適用を制限している。我々は、RobSurvを導入することにより、これらの課題に対処する。RobSurvは、回復力のあるマルチモーダル特徴学習のためのベクトル量子化を活用するロバストな深層学習フレームワークである。1つの経路は、連続的な画像特徴を、ノイズに強い表現のために学習された離散コードブックにマッピングし、並列経路は、連続的な特徴処理を通じて、きめ細かな詳細を保持する。この二重表現は、Transformerベースの処理によって大域的な文脈を捉えながら局所的な空間関係を維持する、新しいパッチワイズフュージョンメカニズムによって統合される。3つの多様なデータセット（HECKTOR、H&N1、NSCLC Radiogenomics）にわたる広範な評価において、RobSurvは優れた性能を示し、それぞれ0.771、0.742、0.734の一致指数を達成し、既存の手法を大幅に凌駕した。最も注目すべきは、我々のモデルは厳しいノイズ条件下でも頑健な性能を維持し、ベースライン手法の8～12%に比べ、性能劣化はわずか3.8～4.5%であることである。これらの結果は、異なるがん種や画像診断プロトコールにわたる強力な一般化と相まって、RobSurvが、治療計画と患者のケアを強化することができる、信頼性の高い臨床予後のための有望なソリューションであることを立証している。

要約(オリジナル)

Cancer survival prediction using multi-modal medical imaging presents a critical challenge in oncology, mainly due to the vulnerability of deep learning models to noise and protocol variations across imaging centers. Current approaches struggle to extract consistent features from heterogeneous CT and PET images, limiting their clinical applicability. We address these challenges by introducing RobSurv, a robust deep-learning framework that leverages vector quantization for resilient multi-modal feature learning. The key innovation of our approach lies in its dual-path architecture: one path maps continuous imaging features to learned discrete codebooks for noise-resistant representation, while the parallel path preserves fine-grained details through continuous feature processing. This dual representation is integrated through a novel patch-wise fusion mechanism that maintains local spatial relationships while capturing global context via Transformer-based processing. In extensive evaluations across three diverse datasets (HECKTOR, H\&N1, and NSCLC Radiogenomics), RobSurv demonstrates superior performance, achieving concordance index of 0.771, 0.742, and 0.734 respectively – significantly outperforming existing methods. Most notably, our model maintains robust performance even under severe noise conditions, with performance degradation of only 3.8-4.5\% compared to 8-12\% in baseline methods. These results, combined with strong generalization across different cancer types and imaging protocols, establish RobSurv as a promising solution for reliable clinical prognosis that can enhance treatment planning and patient care.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL