Modeling Dense Multimodal Interactions Between Biological Pathways and Histology for Survival Prediction

要約

タイトル：生物学的経路と組織学の密な多様な相互作用を生存予測のためのモデリング

要約：
– 整形切片画像（WSIs）とバルクトランスクリプトミクスを統合して患者の生存予測を予測することは、患者の予後の理解を向上させることができます。
– ただし、これは異なる種類のデータであるため、多面的な課題であり、WSIsは腫瘍の非常に高次元の空間的説明を表し、一方、バルクトランスクリプトミックスはその腫瘍内の遺伝子発現レベルのグローバルな説明を表します。
– 我々の研究では、(1) トランスクリプトミクスを意味のある解釈可能な形でトークン化する方法は何か？(2) これら2つのモダリティ間の密な多様な相互作用をどのように捉えることができるか？という2つの重要な課題を解決することを目的としています。
– 具体的には、トランスクリプトミクスから細胞機能をエンコードすることができる生物学的経路トークンを学習することを提案し、WSI内の異なる形態学的パターンをエンコードする組織学のパッチトークンと一緒に、それらが下流の解釈可能性解析のための適切な推論ユニットを形成すると主張しています。
– 経路と組織学パッチトークン間の相互作用をモデリングできる記憶効率の高いモダルトランスフォーマーを使用して両方のモダリティを融合することを提案します。提案モデルであるSURVPATHは、The Cancer Genome Atlasの5つのデータセットで単一モーダルと多様な基準との比較で最新技術を実現しています。
– 解釈性フレームワークにより、重要な多面的予後因子を特定し、遺伝子型と表現型の相互作用を深く理解することができるため、潜在的な生物学的メカニズムに関する貴重な洞察を提供できます。我々は、詳細な手順をGitHubで公開しています。

要約(オリジナル)

Integrating whole-slide images (WSIs) and bulk transcriptomics for predicting patient survival can improve our understanding of patient prognosis. However, this multimodal task is particularly challenging due to the different nature of these data: WSIs represent a very high-dimensional spatial description of a tumor, while bulk transcriptomics represent a global description of gene expression levels within that tumor. In this context, our work aims to address two key challenges: (1) how can we tokenize transcriptomics in a semantically meaningful and interpretable way?, and (2) how can we capture dense multimodal interactions between these two modalities? Specifically, we propose to learn biological pathway tokens from transcriptomics that can encode specific cellular functions. Together with histology patch tokens that encode the different morphological patterns in the WSI, we argue that they form appropriate reasoning units for downstream interpretability analyses. We propose fusing both modalities using a memory-efficient multimodal Transformer that can model interactions between pathway and histology patch tokens. Our proposed model, SURVPATH, achieves state-of-the-art performance when evaluated against both unimodal and multimodal baselines on five datasets from The Cancer Genome Atlas. Our interpretability framework identifies key multimodal prognostic factors, and, as such, can provide valuable insights into the interaction between genotype and phenotype, enabling a deeper understanding of the underlying biological mechanisms at play. We make our code public at: https://github.com/ajv012/SurvPath.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI