NestedFormer: Nested Modality-Aware Transformer for Brain Tumor Segmentation

要約

マルチモーダル MR イメージングは​​、豊富な補足情報を提供することで脳腫瘍の診断と調査を行うために、臨床現場で日常的に使用されています。
以前のマルチモーダル MRI セグメンテーション方法は、通常、ネットワークの初期/中期段階でマルチモーダル MRI を連結することによってモーダル融合を実行し、モダリティ間の非線形依存関係をほとんど調査しません。
この作業では、脳腫瘍セグメンテーションのためのマルチモーダル MRI のモダリティ内およびモダリティ間の関係を明示的に調査するために、新しいネストされたモダリティ対応トランスフォーマー (NestedFormer) を提案します。
トランスフォーマーベースのマルチエンコーダーとシングルデコーダー構造に基づいて構築され、さまざまなモダリティの高レベル表現のためにネストされたマルチモーダルフュージョンを実行し、より効果的なスキップ接続のために下位スケールでモダリティに敏感なゲーティング (MSG) を適用します。
具体的には、マルチモーダルフュージョンは、提案されたネストされたモダリティ対応機能集約（NMaFA）モジュールで実行されます。これは、3方向の空間注意トランスフォーマーを介して個々のモダリティ内の長期的な依存関係を強化し、モダリティ間の重要なコンテキスト情報をさらに補完します
クロスモダリティ注意トランスを介して。
BraTS2020 ベン​​チマークとプライベート髄膜腫セグメンテーション (MeniSeg) データセットに関する広範な実験は、NestedFormer が最先端技術を明らかに上回っていることを示しています。
コードは https://github.com/920232796/NestedFormer で入手できます。

要約(オリジナル)

Multi-modal MR imaging is routinely used in clinical practice to diagnose and investigate brain tumors by providing rich complementary information. Previous multi-modal MRI segmentation methods usually perform modal fusion by concatenating multi-modal MRIs at an early/middle stage of the network, which hardly explores non-linear dependencies between modalities. In this work, we propose a novel Nested Modality-Aware Transformer (NestedFormer) to explicitly explore the intra-modality and inter-modality relationships of multi-modal MRIs for brain tumor segmentation. Built on the transformer-based multi-encoder and single-decoder structure, we perform nested multi-modal fusion for high-level representations of different modalities and apply modality-sensitive gating (MSG) at lower scales for more effective skip connections. Specifically, the multi-modal fusion is conducted in our proposed Nested Modality-aware Feature Aggregation (NMaFA) module, which enhances long-term dependencies within individual modalities via a tri-orientated spatial-attention transformer, and further complements key contextual information among modalities via a cross-modality attention transformer. Extensive experiments on BraTS2020 benchmark and a private meningiomas segmentation (MeniSeg) dataset show that the NestedFormer clearly outperforms the state-of-the-arts. The code is available at https://github.com/920232796/NestedFormer.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google