Robust Multimodal Survival Prediction with the Latent Differentiation Conditional Variational AutoEncoder

要約

組織病理学的画像とゲノムデータの統合分析は、ヒト癌の生存予測の注目を集めています。
ただし、既存の研究は常に、完全なモダリティが利用可能であるという仮定を保持しています。
実際のところ、ゲノムデータを収集するためのコストは高く、テストサンプルではゲノムデータが利用できない場合があります。
このような不完全性に取り組む一般的な方法は、病理画像からゲノム表現を生成することです。
それにもかかわらず、そのような戦略は依然として次の2つの課題に直面しています。（1）ギガピクセル全体のスライド画像（WSI）は巨大であり、したがって表現が難しいです。
（2）統一された生成フレームワークで、多様な関数カテゴリを備えたゲノム埋め込みを生成することは困難です。
上記の課題に対処するために、ゲノムデータが欠落していても、堅牢なマルチモーダル生存予測のために、条件付き潜在分化変分変異オートエンコーダー（LD-CVAE）を提案します。
具体的には、ギガピクセルWSIから圧縮された病理学的表現を学習するために、変動情報ボトルネックトランス（VIB-Trans）モジュールが提案されています。
さまざまな機能的ゲノム機能を生成するために、新しい潜在的な分化変動自動エンコーダー（LD-VAE）を開発して、多様な関数を備えたゲノム埋め込みの共通および特定の事後を学習します。
最後に、LD-CVAEの関節潜在分布推定のために、エンパート産物技術を​​使用して、ゲノム共通後部と画像後部を統合します。
5つの異なる癌データセットでの方法の有効性をテストし、実験結果は、完全なモダリティと欠落したモダリティシナリオの両方でその優位性を示しています。

要約(オリジナル)

The integrative analysis of histopathological images and genomic data has received increasing attention for survival prediction of human cancers. However, the existing studies always hold the assumption that full modalities are available. As a matter of fact, the cost for collecting genomic data is high, which sometimes makes genomic data unavailable in testing samples. A common way of tackling such incompleteness is to generate the genomic representations from the pathology images. Nevertheless, such strategy still faces the following two challenges: (1) The gigapixel whole slide images (WSIs) are huge and thus hard for representation. (2) It is difficult to generate the genomic embeddings with diverse function categories in a unified generative framework. To address the above challenges, we propose a Conditional Latent Differentiation Variational AutoEncoder (LD-CVAE) for robust multimodal survival prediction, even with missing genomic data. Specifically, a Variational Information Bottleneck Transformer (VIB-Trans) module is proposed to learn compressed pathological representations from the gigapixel WSIs. To generate different functional genomic features, we develop a novel Latent Differentiation Variational AutoEncoder (LD-VAE) to learn the common and specific posteriors for the genomic embeddings with diverse functions. Finally, we use the product-of-experts technique to integrate the genomic common posterior and image posterior for the joint latent distribution estimation in LD-CVAE. We test the effectiveness of our method on five different cancer datasets, and the experimental results demonstrate its superiority in both complete and missing modality scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google