BioFusionNet: Deep Learning-Based Survival Risk Stratification in ER+ Breast Cancer Through Multifeature and Multimodal Data Fusion

要約

乳がんは、世界中の何百万もの女性に影響を及ぼす重大な健康上の懸念です。
正確な生存リスク層別化は、個別化された治療決定を導き、患者の転帰を改善する上で重要な役割を果たします。
ここでは、画像から得られた特徴と遺伝データおよび臨床データを融合して、全体的な患者プロファイルを実現し、ER+ 乳がん患者の生存リスク層別化を実行する深層学習フレームワークである BioFusionNet を紹介します。
当社では、詳細な病理組織画像特徴を捕捉するために、病理組織パッチで事前トレーニングされた複数の自己監視型特徴抽出器、つまり DINO および MoCoV3 を採用しています。
次に、変分オートエンコーダ (VAE) を利用してこれらの特徴を融合し、VAE の潜在空間を利用してセルフ アテンション ネットワークにフィードし、患者レベルの特徴を生成します。
次に、組織病理学的特徴と遺伝的データを組み合わせる共二重クロスアテンション メカニズムを開発し、モデルがそれらの間の相互作用を捕捉できるようにします。
さらに、フィードフォワード ネットワーク (FFN) を使用して臨床データが組み込まれ、予測パフォーマンスがさらに強化され、包括的なマルチモーダル機能の統合が実現されます。
さらに、現場での一般的な課題である不均衡な生存データを処理するために特別に設計された加重コックス損失関数を導入します。
提案されたモデルは、0.77 の平均一致指数 (C-index) と 0.84 の時間依存曲線下面積 (AUC) を達成し、最先端の方法を上回ります。
単変量解析で全生存期間 (OS) の予後有意性を伴ってリスク (高対低) を予測し (HR=2.99、95% CI: 1.88–4.78、p<0.005)、標準的な臨床病理学的変数を組み込んだ多変量解析で独立した有意性を維持します。 (HR=2.91、95%CI:1.80--4.68、p<0.005)。 提案された方法は、モデルのパフォーマンスを向上させるだけでなく、不均衡なデータの処理における重大なギャップにも対処します。

要約(オリジナル)

Breast cancer is a significant health concern affecting millions of women worldwide. Accurate survival risk stratification plays a crucial role in guiding personalised treatment decisions and improving patient outcomes. Here we present BioFusionNet, a deep learning framework that fuses image-derived features with genetic and clinical data to achieve a holistic patient profile and perform survival risk stratification of ER+ breast cancer patients. We employ multiple self-supervised feature extractors, namely DINO and MoCoV3, pretrained on histopathology patches to capture detailed histopathological image features. We then utilise a variational autoencoder (VAE) to fuse these features, and harness the latent space of the VAE to feed into a self-attention network, generating patient-level features. Next, we develop a co-dual-cross-attention mechanism to combine the histopathological features with genetic data, enabling the model to capture the interplay between them. Additionally, clinical data is incorporated using a feed-forward network (FFN), further enhancing predictive performance and achieving comprehensive multimodal feature integration. Furthermore, we introduce a weighted Cox loss function, specifically designed to handle imbalanced survival data, which is a common challenge in the field. The proposed model achieves a mean concordance index (C-index) of 0.77 and a time-dependent area under the curve (AUC) of 0.84, outperforming state-of-the-art methods. It predicts risk (high versus low) with prognostic significance for overall survival (OS) in univariate analysis (HR=2.99, 95% CI: 1.88–4.78, p<0.005), and maintains independent significance in multivariate analysis incorporating standard clinicopathological variables (HR=2.91, 95% CI: 1.80--4.68, p<0.005). The proposed method not only improves model performance but also addresses a critical gap in handling imbalanced data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google