mmFormer: Multimodal Medical Transformer for Incomplete Multimodal Learning of Brain Tumor Segmentation

要約

磁気共鳴画像（MRI）から脳腫瘍を正確にセグメンテーションすることは，マルチモーダル画像の共同学習にとって望ましいことである．しかし，臨床の現場では，必ずしも全てのMRIを取得することができず，既存のマルチモーダルセグメンテーション手法では，モダリティの欠落による性能劣化が深刻である．本研究では，Transformer を用いて，利用可能なモダリティの組み合わせに対してロバストなマルチモーダル脳腫瘍セグメンテーションを行う初めての試みを提示する．具体的には、3つの主要な構成要素からなる、不完全なマルチモーダル学習のための新しいマルチモーダル医療トランスフォーマー(mmFormer)を提案する。ハイブリッドモダリティエンコーダは、畳み込みエンコーダと、各モダリティ内のローカルおよびグローバルコンテキストモデリングのためのイントラモダル変換器、インターモダル変換器は、腫瘍領域に対応するグローバルセマンティクスとモダリティ不変の特徴のためにモダリティ間の長距離相関を構築し調整する、デコーダはロバストセグメンテーションを生成するために漸増サンプリングとモダリティ不変の特徴とのフュージョンを実行する、である。さらに、エンコーダとデコーダの両方に補助的な正則化を導入し、不完全なモダリティに対するモデルの頑健性をさらに向上させる。我々は、脳腫瘍のセグメンテーションのための公開データセットBraTS $2018$を用いた広範な実験を行った。その結果，提案するmmFormerは，不完全なモダリティのほぼ全てのサブセットにおいて，不完全なマルチモーダル脳腫瘍セグメンテーションのための最先端手法を上回ることを示す．特に，1つのモダリティしか利用できない腫瘍セグメンテーションにおいてDiceが平均19.07%向上することを示す．コードは https://github.com/YaoZhang93/mmFormer で公開されています。

要約(オリジナル)

Accurate brain tumor segmentation from Magnetic Resonance Imaging (MRI) is desirable to joint learning of multimodal images. However, in clinical practice, it is not always possible to acquire a complete set of MRIs, and the problem of missing modalities causes severe performance degradation in existing multimodal segmentation methods. In this work, we present the first attempt to exploit the Transformer for multimodal brain tumor segmentation that is robust to any combinatorial subset of available modalities. Concretely, we propose a novel multimodal Medical Transformer (mmFormer) for incomplete multimodal learning with three main components: the hybrid modality-specific encoders that bridge a convolutional encoder and an intra-modal Transformer for both local and global context modeling within each modality; an inter-modal Transformer to build and align the long-range correlations across modalities for modality-invariant features with global semantics corresponding to tumor region; a decoder that performs a progressive up-sampling and fusion with the modality-invariant features to generate robust segmentation. Besides, auxiliary regularizers are introduced in both encoder and decoder to further enhance the model’s robustness to incomplete modalities. We conduct extensive experiments on the public BraTS $2018$ dataset for brain tumor segmentation. The results demonstrate that the proposed mmFormer outperforms the state-of-the-art methods for incomplete multimodal brain tumor segmentation on almost all subsets of incomplete modalities, especially by an average 19.07% improvement of Dice on tumor segmentation with only one available modality. The code is available at https://github.com/YaoZhang93/mmFormer.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL