Leveraging Transformers to Improve Breast Cancer Classification and Risk Assessment with Multi-modal and Longitudinal Data

要約

乳がん検査は主にマンモグラフィーによって行われ、乳房組織の密度が高い女性には超音波検査が追加されることがよくあります。
しかし、既存の深層学習モデルは各モダリティを個別に分析するため、画像モダリティや時間を超えて情報を統合する機会を失っています。
この研究では、現在がんを患っている患者を特定し、現在がんのない患者の将来のがんのリスクを推定するために、マンモグラフィーと超音波を相乗的に利用するニューラルネットワークであるマルチモーダルトランスフォーマー（MMT）を紹介します。
MMT は、自己注意を通じてマルチモーダル データを集約し、現在の検査と以前の画像を比較することによって一時的な組織の変化を追跡します。
130 万件の検査でトレーニングされた MMT は、既存のがんの検出において AUROC 0.943 を達成し、強力な単峰性ベースラインを上回りました。
5 年間のリスク予測では、MMT は AUROC 0.826 を達成し、以前のマンモグラフィーに基づくリスク モデルを上回りました。
私たちの研究は、がん診断とリスク階層化におけるマルチモーダルかつ縦断的イメージングの価値を強調しています。

要約(オリジナル)

Breast cancer screening, primarily conducted through mammography, is often supplemented with ultrasound for women with dense breast tissue. However, existing deep learning models analyze each modality independently, missing opportunities to integrate information across imaging modalities and time. In this study, we present Multi-modal Transformer (MMT), a neural network that utilizes mammography and ultrasound synergistically, to identify patients who currently have cancer and estimate the risk of future cancer for patients who are currently cancer-free. MMT aggregates multi-modal data through self-attention and tracks temporal tissue changes by comparing current exams to prior imaging. Trained on 1.3 million exams, MMT achieves an AUROC of 0.943 in detecting existing cancers, surpassing strong uni-modal baselines. For 5-year risk prediction, MMT attains an AUROC of 0.826, outperforming prior mammography-based risk models. Our research highlights the value of multi-modal and longitudinal imaging in cancer diagnosis and risk stratification.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google