HEALNet — Hybrid Multi-Modal Fusion for Heterogeneous Biomedical Data

要約

高解像度の病理組織学やハイスループットのゲノムシークエンシングなどの医療データ収集における技術の進歩により、特に画像、表、グラフデータに対するマルチモーダル生物医学モデリングの要件が高まっています。
ほとんどのマルチモーダル深層学習アプローチでは、個別にトレーニングされるモダリティ固有のアーキテクチャが使用されており、異なるデータ ソースの統合を動機付ける重要なクロスモーダル情報を取得できません。
この論文は、ハイブリッド早期融合注意学習ネットワーク (HEALNet) を紹介します。これは、a) モダリティ固有の構造情報を保存し、b) 共有潜在空間内のクロスモーダル相互作用と構造情報を捕捉する、柔軟なマルチモーダル融合アーキテクチャです。
c) トレーニングおよび推論中に欠落しているモダリティを効果的に処理でき、d) 不透明な埋め込みの代わりに生データ入力で学習することで直感的なモデル検査が可能になります。
私たちは、The Cancer Genome Atlas (TCGA) の 4 つのがんコホートのスライド全体画像とマルチオミクス データに対してマルチモーダル生存分析を実施します。
HEALNet は最先端のパフォーマンスを実現し、単一モーダル ベースラインと最近のマルチモーダル ベースラインの両方を大幅に改善しながら、モダリティが欠落しているシナリオでも堅牢です。

要約(オリジナル)

Technological advances in medical data collection such as high-resolution histopathology and high-throughput genomic sequencing have contributed to the rising requirement for multi-modal biomedical modelling, specifically for image, tabular, and graph data. Most multi-modal deep learning approaches use modality-specific architectures that are trained separately and cannot capture the crucial cross-modal information that motivates the integration of different data sources. This paper presents the Hybrid Early-fusion Attention Learning Network (HEALNet): a flexible multi-modal fusion architecture, which a) preserves modality-specific structural information, b) captures the cross-modal interactions and structural information in a shared latent space, c) can effectively handle missing modalities during training and inference, and d) enables intuitive model inspection by learning on the raw data input instead of opaque embeddings. We conduct multi-modal survival analysis on Whole Slide Images and Multi-omic data on four cancer cohorts of The Cancer Genome Atlas (TCGA). HEALNet achieves state-of-the-art performance, substantially improving over both uni-modal and recent multi-modal baselines, whilst being robust in scenarios with missing modalities.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google