Prototypical Information Bottlenecking and Disentangling for Multimodal Cancer Survival Prediction

要約

マルチモーダル学習は、がんの生存予測、特に病理学的画像とゲノムデータの統合に大きく貢献する。(1)特に、病理画像では多数のパッチが、ゲノムデータでは数千のパスウェイが存在するギガピクセルのホールスライド画像(WSI)では、モダリティ内のタスクに関連しない膨大な情報が識別性を鈍らせ、「モダリティ内冗長性」の問題につながる。(2)マルチモーダルデータの表現では、モダリティ間で重複した情報が支配的であるため、モダリティ固有の情報が無視されやすく、「モダリティ間の冗長性」の問題が生じる。これらの問題に対処するために、我々は新しいフレームワーク、Prototypical Information Bottleneck and Disentangling (PIBD)を提案する。PIBDは、モダリティ内冗長性のためのPrototypical Information Bottleneck (PIB)モジュールと、モダリティ間冗長性のためのPrototypical Information Disentanglement (PID)モジュールから構成される。具体的には、情報ボトルネックの変形であるPIBは、異なるリスクレベルのインスタンスの束を近似したプロトタイプをモデル化するために提案され、これはモダリティ内の識別的インスタンスの選択に使用できる。PIDモジュールは、絡み合ったマルチモーダルデータを、モダリティ共通の知識とモダリティ固有の知識というコンパクトな異なる要素に分離する。5つの癌ベンチマークデータセットを用いた広範な実験により、他の手法に対する優位性が実証された。

要約(オリジナル)

Multimodal learning significantly benefits cancer survival prediction, especially the integration of pathological images and genomic data. Despite advantages of multimodal learning for cancer survival prediction, massive redundancy in multimodal data prevents it from extracting discriminative and compact information: (1) An extensive amount of intra-modal task-unrelated information blurs discriminability, especially for gigapixel whole slide images (WSIs) with many patches in pathology and thousands of pathways in genomic data, leading to an “intra-modal redundancy’ issue. (2) Duplicated information among modalities dominates the representation of multimodal data, which makes modality-specific information prone to being ignored, resulting in an “inter-modal redundancy’ issue. To address these, we propose a new framework, Prototypical Information Bottlenecking and Disentangling (PIBD), consisting of Prototypical Information Bottleneck (PIB) module for intra-modal redundancy and Prototypical Information Disentanglement (PID) module for inter-modal redundancy. Specifically, a variant of information bottleneck, PIB, is proposed to model prototypes approximating a bunch of instances for different risk levels, which can be used for selection of discriminative instances within modality. PID module decouples entangled multimodal data into compact distinct components: modality-common and modality-specific knowledge, under the guidance of the joint prototypical distribution. Extensive experiments on five cancer benchmark datasets demonstrated our superiority over other methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL