DRIM: Learning Disentangled Representations from Incomplete Multimodal Healthcare Data

要約

実際の医療データは多くの場合マルチモーダルで不完全であるため、それらを効率的に統合できる高度な深層学習モデルのニーズが高まっています。
病理組織スライド、MRI、遺伝子データなどの多様な手段を利用することで、予後予測を改善し、新しい治療経路を明らかにする前例のない機会が得られます。
対照学習は、マルチモーダル タスクでペアのデータから表現を導き出すために広く使用されており、異なるビューに同じタスク関連情報が含まれていることを前提とし、共有情報のみを活用します。
各モダリティには下流のタスクに関連する特定の知識も含まれているため、医療データを処理する場合、この仮定は制限的になります。
データの疎性にもかかわらず、これらの共有された固有の表現をキャプチャするための新しいマルチモーダルな方法である DRIM を紹介します。
より具体的には、モダリティのセットが与えられた場合、我々は 2 つのコンポーネントに分割できる各モダリティの表現をエンコードすることを目指しています。1 つはモダリティ間で共通の患者関連情報をカプセル化し、もう 1 つはモダリティ固有の詳細をカプセル化します。
これは、各モダリティ内の共有コンポーネントと独自のコンポーネント間の重複を最小限に抑えながら、異なる患者モダリティ間で共有される情報を増やすことによって実現されます。
私たちの方法は、神経膠腫患者の生存予測タスクに関して最先端のアルゴリズムを上回り、モダリティの欠落に対して堅牢です。
再現性を高めるために、コードは https://github.com/Lucas-rbnt/DRIM で公開されています。

要約(オリジナル)

Real-life medical data is often multimodal and incomplete, fueling the growing need for advanced deep learning models capable of integrating them efficiently. The use of diverse modalities, including histopathology slides, MRI, and genetic data, offers unprecedented opportunities to improve prognosis prediction and to unveil new treatment pathways. Contrastive learning, widely used for deriving representations from paired data in multimodal tasks, assumes that different views contain the same task-relevant information and leverages only shared information. This assumption becomes restrictive when handling medical data since each modality also harbors specific knowledge relevant to downstream tasks. We introduce DRIM, a new multimodal method for capturing these shared and unique representations, despite data sparsity. More specifically, given a set of modalities, we aim to encode a representation for each one that can be divided into two components: one encapsulating patient-related information common across modalities and the other, encapsulating modality-specific details. This is achieved by increasing the shared information among different patient modalities while minimizing the overlap between shared and unique components within each modality. Our method outperforms state-of-the-art algorithms on glioma patients survival prediction tasks, while being robust to missing modalities. To promote reproducibility, the code is made publicly available at https://github.com/Lucas-rbnt/DRIM

arxiv情報

提供元, 利用サービス

arxiv.jp, Google