HEALNet: Multimodal Fusion for Heterogeneous Biomedical Data

要約

ハイスループットのゲノムシークエンシングやデジタル高解像度組織病理学などの医療データ収集における技術の進歩により、特に画像、表、グラフデータに対するマルチモーダルな生物医学モデリングの要件が高まっています。
ほとんどのマルチモーダル深層学習アプローチは、個別にトレーニングされることが多いモダリティ固有のアーキテクチャを使用しており、異なるデータ ソースの統合を動機付ける重要なクロスモーダル情報を取得できません。
この論文は、ハイブリッド早期融合注意学習ネットワーク (HEALNet) を紹介します。これは、a) モダリティ固有の構造情報を保存し、b) 共有潜在空間内のクロスモーダル相互作用と構造情報を捕捉し、c) 柔軟なマルチモーダル融合アーキテクチャです。
トレーニングと推論中に欠落しているモダリティを効果的に処理でき、d) 不透明な埋め込みの代わりに生データ入力で学習することで、直感的なモデル検査が可能になります。
私たちは、The Cancer Genome Atlas (TCGA) の 4 つのがんデータセットのスライド全体画像とマルチオミックデータに対してマルチモーダル生存分析を実行します。
HEALNet は、他のエンドツーエンドでトレーニングされた融合モデルと比較して最先端のパフォーマンスを達成し、モダリティが欠如しているシナリオでは堅牢であると同時に、単峰性および多峰性のベースラインを大幅に改善します。

要約(オリジナル)

Technological advances in medical data collection, such as high-throughput genomic sequencing and digital high-resolution histopathology, have contributed to the rising requirement for multimodal biomedical modelling, specifically for image, tabular and graph data. Most multimodal deep learning approaches use modality-specific architectures that are often trained separately and cannot capture the crucial cross-modal information that motivates the integration of different data sources. This paper presents the Hybrid Early-fusion Attention Learning Network (HEALNet): a flexible multimodal fusion architecture, which a) preserves modality-specific structural information, b) captures the cross-modal interactions and structural information in a shared latent space, c) can effectively handle missing modalities during training and inference, and d) enables intuitive model inspection by learning on the raw data input instead of opaque embeddings. We conduct multimodal survival analysis on Whole Slide Images and Multi-omic data on four cancer datasets from The Cancer Genome Atlas (TCGA). HEALNet achieves state-of-the-art performance compared to other end-to-end trained fusion models, substantially improving over unimodal and multimodal baselines whilst being robust in scenarios with missing modalities.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google