Cross-Modal Translation and Alignment for Survival Analysis

要約

ハイスループットシーケンス技術の急速な進歩により、生存解析の焦点は臨床指標の検査から、ゲノムプロファイルと病理学的画像の組み込みへと移行しました。
しかし、既存の方法は、生存予測のために病理学的特徴とゲノムプロファイルの直接的な融合を直接採用するか、病理学的画像の特徴を統合するための指針としてゲノムプロファイルを採用するかのいずれかである。
前者は、本質的なクロスモーダル相関を見落とすことになります。
後者は、遺伝子発現に無関係な病理学的情報を破棄します。
これらの問題に対処するために、本質的なクロスモーダル相関を調査し、潜在的な補完情報を転送するためのクロスモーダル変換とアライメント (CMTA) フレームワークを紹介します。
具体的には、マルチモーダル データに対して 2 つの並列エンコーダ/デコーダ構造を構築して、イントラモーダル情報を統合し、クロスモーダル表現を生成します。
生成されたクロスモーダル表現を利用してイントラモーダル表現を強化および再調整すると、包括的な生存分析の識別を大幅に向上させることができます。
本質的なクロスモーダル相関を調査するために、クロスモーダル相互作用を実行し、補完的な情報を転送するための、異なるモダリティ間の情報ブリッジとしてクロスモーダル アテンション モジュールをさらに設計します。
5 つの公開 TCGA データセットに対する広範な実験により、私たちが提案したフレームワークが最先端の手法よりも優れていることが実証されました。

要約(オリジナル)

With the rapid advances in high-throughput sequencing technologies, the focus of survival analysis has shifted from examining clinical indicators to incorporating genomic profiles with pathological images. However, existing methods either directly adopt a straightforward fusion of pathological features and genomic profiles for survival prediction, or take genomic profiles as guidance to integrate the features of pathological images. The former would overlook intrinsic cross-modal correlations. The latter would discard pathological information irrelevant to gene expression. To address these issues, we present a Cross-Modal Translation and Alignment (CMTA) framework to explore the intrinsic cross-modal correlations and transfer potential complementary information. Specifically, we construct two parallel encoder-decoder structures for multi-modal data to integrate intra-modal information and generate cross-modal representation. Taking the generated cross-modal representation to enhance and recalibrate intra-modal representation can significantly improve its discrimination for comprehensive survival analysis. To explore the intrinsic crossmodal correlations, we further design a cross-modal attention module as the information bridge between different modalities to perform cross-modal interactions and transfer complementary information. Our extensive experiments on five public TCGA datasets demonstrate that our proposed framework outperforms the state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google