MMMNA-Net for Overall Survival Time Prediction of Brain Tumor Patients

要約

全生存期間（OS）は、神経膠腫の状況の最も重要な評価指標の1つです。
マルチモーダル磁気共鳴画像法（MRI）スキャンは、神経膠腫の予後OS時間の研究において重要な役割を果たします。
マルチモーダルMRI問題のOS時間予測のために、いくつかの深層学習ベースの方法が提案されています。
ただし、これらの方法は通常、深層学習ネットワークの最初または最後にマルチモーダル情報を融合し、さまざまなスケールの機能の融合を欠いています。
さらに、ネットワークの最後での融合は、常にグローバルとグローバル（たとえば、グローバル平均プーリング出力の連結後に完全に接続される）またはローカルとローカル（たとえば、バイリニアプーリング）に適応し、ローカルとグローバルの情報を失います。
この論文では、脳腫瘍患者のマルチモーダルOS時間予測のための新しい方法を提案します。これには、さまざまなスケールで導入された改良された非局所機能融合モジュールが含まれます。
私たちの方法では、現在の最先端の方法に比べて8.76％の改善が見られます（精度は0.6989対0.6426）。
広範なテストは、私たちの方法がモダリティが欠落している状況に適応できることを示しています。
コードはhttps://github.com/TangWen920812/mmmna-netで入手できます。

要約(オリジナル)

Overall survival (OS) time is one of the most important evaluation indices for gliomas situations. Multimodal Magnetic Resonance Imaging (MRI) scans play an important role in the study of glioma prognosis OS time. Several deep learning-based methods are proposed for the OS time prediction on multi-modal MRI problems. However, these methods usually fuse multi-modal information at the beginning or at the end of the deep learning networks and lack the fusion of features from different scales. In addition, the fusion at the end of networks always adapts global with global (eg. fully connected after concatenation of global average pooling output) or local with local (eg. bilinear pooling), which loses the information of local with global. In this paper, we propose a novel method for multi-modal OS time prediction of brain tumor patients, which contains an improved nonlocal features fusion module introduced on different scales. Our method obtains a relative 8.76% improvement over the current state-of-art method (0.6989 vs. 0.6426 on accuracy). Extensive testing demonstrates that our method could adapt to situations with missing modalities. The code is available at https://github.com/TangWen920812/mmmna-net.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google