Adaptive Prototype Learning for Multimodal Cancer Survival Analysis

要約

マルチモーダルデータの活用、特に全面的な組織学画像（WSI）とトランスクリプトームプロファイルの統合は、がんの生存予測を改善するための大きな可能性を秘めています。
ただし、マルチモーダルデータの過度の冗長性は、モデルのパフォーマンスを低下させる可能性があります。
この論文では、マルチモーダルがん生存分析のための斬新で効果的なアプローチである適応プロトタイプ学習（APL）を提案します。
APLは、データ駆動型の方法で代表的なプロトタイプを適応的に学習し、重要な情報を保存しながら冗長性を減らします。
私たちの方法では、高次元表現と生存予測との間の橋渡しとして機能する2セットの学習可能なクエリベクトルを採用し、タスク関連の機能をキャプチャします。
さらに、クロスモーダル相互作用を可能にするために、マルチモーダル混合自己触媒メカニズムを導入し、情報融合をさらに強化します。
5つのベンチマークがんデータセットでの広範な実験は、既存の方法よりもアプローチの優位性を示しています。
コードはhttps://github.com/hongliuuuuu/aplで入手できます。

要約(オリジナル)

Leveraging multimodal data, particularly the integration of whole-slide histology images (WSIs) and transcriptomic profiles, holds great promise for improving cancer survival prediction. However, excessive redundancy in multimodal data can degrade model performance. In this paper, we propose Adaptive Prototype Learning (APL), a novel and effective approach for multimodal cancer survival analysis. APL adaptively learns representative prototypes in a data-driven manner, reducing redundancy while preserving critical information. Our method employs two sets of learnable query vectors that serve as a bridge between high-dimensional representations and survival prediction, capturing task-relevant features. Additionally, we introduce a multimodal mixed self-attention mechanism to enable cross-modal interactions, further enhancing information fusion. Extensive experiments on five benchmark cancer datasets demonstrate the superiority of our approach over existing methods. The code is available at https://github.com/HongLiuuuuu/APL.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google