Prototypical Information Bottlenecking and Disentangling for Multimodal Cancer Survival Prediction

要約

マルチモーダル学習は、がんの生存予測、特に病理画像とゲノムデータの統合に大きなメリットをもたらします。
がん生存予測におけるマルチモーダル学習の利点にもかかわらず、マルチモーダルデータの大規模な冗長性により、識別可能なコンパクトな情報を抽出することができません。 (1) モーダル内タスクに無関係な大量の情報により、特にギガピクセルの全スライド画像 (WSI) の場合、識別性が曖昧になります。
病理学には多くのパッチがあり、ゲノムデータには何千もの経路があり、「モード内の冗長性」の問題につながります。
(2) モダリティ間の重複情報がマルチモーダルデータの表現を支配しており、モダリティ固有の情報が無視されがちであり、その結果「モーダル間の冗長性」の問題が発生する。
これらに対処するために、我々は、モーダル内冗長性のためのプロトタイプ情報ボトルネック (PIB) モジュールとモーダル間冗長性のためのプロトタイプ情報ボトルネック (PID) モジュールで構成される新しいフレームワーク、プロトタイプ情報ボトルネッキングおよびもつれ解消 (PIBD) を提案します。
具体的には、情報ボトルネックの変種である PIB が、さまざまなリスク レベルの多数のインスタンスを近似するプロトタイプをモデル化するために提案されており、モダリティ内で識別可能なインスタンスの選択に使用できます。
PID モジュールは、結合プロトタイプ分布の指導の下で、絡み合ったマルチモーダル データをコンパクトな個別のコンポーネント (モダリティに共通の知識とモダリティ固有の知識) に分離します。
5 つのがんベンチマーク データセットに対する広範な実験により、他の方法に対する当社の優位性が実証されました。

要約(オリジナル)

Multimodal learning significantly benefits cancer survival prediction, especially the integration of pathological images and genomic data. Despite advantages of multimodal learning for cancer survival prediction, massive redundancy in multimodal data prevents it from extracting discriminative and compact information: (1) An extensive amount of intra-modal task-unrelated information blurs discriminability, especially for gigapixel whole slide images (WSIs) with many patches in pathology and thousands of pathways in genomic data, leading to an “intra-modal redundancy’ issue. (2) Duplicated information among modalities dominates the representation of multimodal data, which makes modality-specific information prone to being ignored, resulting in an “inter-modal redundancy’ issue. To address these, we propose a new framework, Prototypical Information Bottlenecking and Disentangling (PIBD), consisting of Prototypical Information Bottleneck (PIB) module for intra-modal redundancy and Prototypical Information Disentanglement (PID) module for inter-modal redundancy. Specifically, a variant of information bottleneck, PIB, is proposed to model prototypes approximating a bunch of instances for different risk levels, which can be used for selection of discriminative instances within modality. PID module decouples entangled multimodal data into compact distinct components: modality-common and modality-specific knowledge, under the guidance of the joint prototypical distribution. Extensive experiments on five cancer benchmark datasets demonstrated our superiority over other methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google