Comprehensive Multimodal Deep Learning Survival Prediction Enabled by a Transformer Architecture: A Multicenter Study in Glioblastoma

要約

背景: この研究は、MR 画像、臨床および分子病理学的データをトランスフォーマーベースの深層学習モデルに統合し、データの不均一性とパフォーマンスの一般化性に対処することで、神経膠芽腫の生存予測を改善することを目的としています。
方法: 変圧器ベースの非線形および非比例生存予測モデルを提案し、評価します。
このモデルは、自己教師あり学習技術を採用して、高次元の MRI 入力を効果的にエンコードし、交差注意を使用して非画像データと統合します。
モデルの一般化可能性を実証するために、モデルは、UPenn-GBM、UCSF-PDGM、および RHUH-GBM の 3 つの独立した公開テスト セットを使用した 2 つのトレーニング セットアップで、時間依存の一致指数 (Cdt) で評価されます。
それぞれ36件。
結果: 提案されたトランスフォーマー モデルは、イメージング データと非イメージング データに対して有望なパフォーマンスを達成し、両方のモダリティを効果的に統合してパフォーマンスを向上させました (UPenn-GBM テスト セット、イメージング Cdt 0.645、マルチモーダル Cdt 0.707) と同時に、現状のパフォーマンスを上回りました。
アート後期融合 3D-CNN ベースのモデル。
3 つの独立した多施設テスト セット全体で一貫したパフォーマンスが観察され、Cdt 値は 0.707 (UPenn-GBM、内部テスト セット)、0.672 (UCSF-PDGM、最初の外部テスト セット)、0.618 (RHUH-GBM、2 番目の外部テスト セット) でした。
このモデルは、3 つのデータセットすべてで生存率が良好な患者とそうでない患者を有意に区別することができました (ログランク p 1.9\times{10}^{-8}、9.7\times{10}^{-3}、および 1.2\times{10}
^{-2})。
結論: 提案されたトランスフォーマーベースの生存予測モデルは、多様な入力モダリティからの補完的な情報を統合し、最先端の方法と比較して膠芽腫の生存予測の向上に貢献します。
モデルの一般化性をサポートする機関全体で一貫したパフォーマンスが観察されました。

要約(オリジナル)

Background: This research aims to improve glioblastoma survival prediction by integrating MR images, clinical and molecular-pathologic data in a transformer-based deep learning model, addressing data heterogeneity and performance generalizability. Method: We propose and evaluate a transformer-based non-linear and non-proportional survival prediction model. The model employs self-supervised learning techniques to effectively encode the high-dimensional MRI input for integration with non-imaging data using cross-attention. To demonstrate model generalizability, the model is assessed with the time-dependent concordance index (Cdt) in two training setups using three independent public test sets: UPenn-GBM, UCSF-PDGM, and RHUH-GBM, each comprising 378, 366, and 36 cases, respectively. Results: The proposed transformer model achieved promising performance for imaging as well as non-imaging data, effectively integrating both modalities for enhanced performance (UPenn-GBM test-set, imaging Cdt 0.645, multimodal Cdt 0.707) while outperforming state-of-the-art late-fusion 3D-CNN-based models. Consistent performance was observed across the three independent multicenter test sets with Cdt values of 0.707 (UPenn-GBM, internal test set), 0.672 (UCSF-PDGM, first external test set) and 0.618 (RHUH-GBM, second external test set). The model achieved significant discrimination between patients with favorable and unfavorable survival for all three datasets (logrank p 1.9\times{10}^{-8}, 9.7\times{10}^{-3}, and 1.2\times{10}^{-2}). Conclusions: The proposed transformer-based survival prediction model integrates complementary information from diverse input modalities, contributing to improved glioblastoma survival prediction compared to state-of-the-art methods. Consistent performance was observed across institutions supporting model generalizability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google