Leveraging Transformers to Improve Breast Cancer Classification and Risk Assessment with Multi-modal and Longitudinal Data

要約

乳がん検診は主にマンモグラフィで行われるが、乳腺組織が密な女性に対しては超音波検査で補われることが多い。しかし、既存のディープラーニングモデルは、それぞれのモダリティを独立して分析するため、画像モダリティや時間を超えて情報を統合する機会を逃している。本研究では、マンモグラフィと超音波を相乗的に利用するニューラルネットワークであるMulti-modal Transformer（MMT）を発表し、現在がんである患者を特定し、現在がんでない患者の将来のがんリスクを推定する。MMTは、自己注視によってマルチモダルデータを集約し、現在の検査と以前の画像とを比較することによって時間的な組織の変化を追跡する。130万件の検査で訓練されたMMTは、既存のがんの検出において0.943のAUROCを達成し、強力な単一モダルのベースラインを上回った。5年リスク予測では、MMTは0.826のAUROCを達成し、先行するマンモグラフィベースのリスクモデルを凌駕した。われわれの研究は、がんの診断とリスク層別化におけるマルチモーダルかつ縦断的な画像診断の価値を強調している。

要約(オリジナル)

Breast cancer screening, primarily conducted through mammography, is often supplemented with ultrasound for women with dense breast tissue. However, existing deep learning models analyze each modality independently, missing opportunities to integrate information across imaging modalities and time. In this study, we present Multi-modal Transformer (MMT), a neural network that utilizes mammography and ultrasound synergistically, to identify patients who currently have cancer and estimate the risk of future cancer for patients who are currently cancer-free. MMT aggregates multi-modal data through self-attention and tracks temporal tissue changes by comparing current exams to prior imaging. Trained on 1.3 million exams, MMT achieves an AUROC of 0.943 in detecting existing cancers, surpassing strong uni-modal baselines. For 5-year risk prediction, MMT attains an AUROC of 0.826, outperforming prior mammography-based risk models. Our research highlights the value of multi-modal and longitudinal imaging in cancer diagnosis and risk stratification.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL