Multimodal Survival Modeling in the Age of Foundation Models

要約

がんゲノムアトラス（TCGA）は、新しい発見を可能にし、その調和したゲノミクス、臨床、および画像データを通じて大規模な参照として機能しました。
以前の研究では、ユニモーダルまたはマルチモーダルTCGAデータの特注の癌生存予測モデルを訓練しています。
生物医学の深い学習における最新のパラダイムは、特定のモデリングタスクに不可知論的な意味のある特徴の埋め込みを導き出すための基礎モデル（FMS）の開発です。
生物医学的なテキストでは、特にFMSの開発が増加しています。
TCGAには病理学が報告するようにフリーテキストデータが含まれていますが、これらは歴史的に十分に活用されていません。
ここでは、FMSによって抽出されたゼロショット埋め込み上で、古典的なマルチモーダルサバイバルモデルをトレーニングする可能性を調査します。
マルチモーダル融合の容易さと加法効果を示し、単峰性モデルを上回ります。
病理学のレポートテキストを含めることの利点を実証し、モデルベースのテキストの要約と幻覚の効果を厳密に評価します。
全体として、病理学レポートからFMSと情報抽出を活用することにより、サバイバルモデリングを近代化します。

要約(オリジナル)

The Cancer Genome Atlas (TCGA) has enabled novel discoveries and served as a large-scale reference through its harmonized genomics, clinical, and image data. Prior studies have trained bespoke cancer survival prediction models from unimodal or multimodal TCGA data. A modern paradigm in biomedical deep learning is the development of foundation models (FMs) to derive meaningful feature embeddings, agnostic to a specific modeling task. Biomedical text especially has seen growing development of FMs. While TCGA contains free-text data as pathology reports, these have been historically underutilized. Here, we investigate the feasibility of training classical, multimodal survival models over zero-shot embeddings extracted by FMs. We show the ease and additive effect of multimodal fusion, outperforming unimodal models. We demonstrate the benefit of including pathology report text and rigorously evaluate the effect of model-based text summarization and hallucination. Overall, we modernize survival modeling by leveraging FMs and information extraction from pathology reports.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google