Multimodal Deep Learning for Subtype Classification in Breast Cancer Using Histopathological Images and Gene Expression Data

要約

乳がんの分子サブタイピングは、個別化された治療と予後に不可欠です。
従来の分類アプローチは、組織病理学的画像または遺伝子発現プロファイリングのいずれかに依存しており、予測力を制限しています。
この研究では、組織病理学的画像と遺伝子発現データを統合して乳がんをbrca.luminalおよびbrca.basal / her2サブタイプに分類する深いマルチモーダル学習フレームワークを提案します。
私たちのアプローチでは、モダリティ相互作用を強化するための交差融合融合メカニズムを備えた、画像機能抽出のためのResNet-50モデルと遺伝子発現処理のための完全に接続された層を採用しています。
5倍の交差検証を使用して広範な実験を実施し、マルチモーダル統合が分類精度、精密回復AUC、およびF1スコアの観点から単型アプローチよりも優れていることを示しています。
私たちの調査結果は、堅牢で解釈可能な乳がんサブタイプ分類のための深い学習の可能性を強調し、臨床的意思決定の改善への道を開いています。

要約(オリジナル)

Molecular subtyping of breast cancer is crucial for personalized treatment and prognosis. Traditional classification approaches rely on either histopathological images or gene expression profiling, limiting their predictive power. In this study, we propose a deep multimodal learning framework that integrates histopathological images and gene expression data to classify breast cancer into BRCA.Luminal and BRCA.Basal / Her2 subtypes. Our approach employs a ResNet-50 model for image feature extraction and fully connected layers for gene expression processing, with a cross-attention fusion mechanism to enhance modality interaction. We conduct extensive experiments using five-fold cross-validation, demonstrating that our multimodal integration outperforms unimodal approaches in terms of classification accuracy, precision-recall AUC, and F1-score. Our findings highlight the potential of deep learning for robust and interpretable breast cancer subtype classification, paving the way for improved clinical decision-making.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google