Decoupling Feature Representations of Ego and Other Modalities for Incomplete Multi-modal Brain Tumor Segmentation

要約

マルチモーダル脳腫瘍セグメンテーションには通常、4 つの磁気共鳴画像法 (MRI) モダリティが必要ですが、不完全なモダリティではパフォーマンスが大幅に低下します。
既存のソリューションは、明示的または暗黙的なモダリティ適応を採用し、モダリティ全体で特徴を調整したり、モダリティの不完全性に対して堅牢な融合特徴を学習したりしています。
これらは、各モダリティがそれ自体と他のモダリティの両方を表現することを奨励するという共通の目標を共有しています。
ただし、2 つの表現能力は全体としてシームレスな特徴空間内で絡み合っているため、法外な学習負担が生じます。
この論文では、堅牢な不完全なマルチモーダル セグメンテーションのために自我と他のモダリティを表現するタスクを分離することでモダリティ適応を強化する DeMoSeg を提案します。
デカップリングは、2 つの畳み込みを使用して各モダリティを 4 つの特徴サブ空間にマッピングするだけで非常に軽量です。
最初の部分空間はそれ自体を表現します (自己特徴) が、残りの部分空間は他のモダリティの代わりになります (相互特徴)。
自己機能と相互機能は、慎重に設計されたチャネルごとのスパース セルフ アテンション (CSSA) を通じて相互に対話的にガイドします。
その後、放射線科医を模倣したクロスモダリティ表現関係 (RCR) が導入され、利用可能なモダリティに自己特徴を提供させるとともに、臨床の事前知識を活用することで不足している特徴を補うために相互特徴を「貸与」します。
BraTS2020、BraTS2018、および BraTS2015 のベンチマーク結果は、モダリティ適応の難しさの軽減による DeMoSeg の優位性を検証しています。
具体的には、BraTS2020 の場合、DeMoSeg は他の最先端技術と比較して、腫瘍全体、腫瘍コア、および増強された腫瘍領域でそれぞれ少なくとも 0.92%、2.95%、および 4.95% Dice を増加させます。
コードは https://github.com/kk42yy/DeMoSeg にあります。

要約(オリジナル)

Multi-modal brain tumor segmentation typically involves four magnetic resonance imaging (MRI) modalities, while incomplete modalities significantly degrade performance. Existing solutions employ explicit or implicit modality adaptation, aligning features across modalities or learning a fused feature robust to modality incompleteness. They share a common goal of encouraging each modality to express both itself and the others. However, the two expression abilities are entangled as a whole in a seamless feature space, resulting in prohibitive learning burdens. In this paper, we propose DeMoSeg to enhance the modality adaptation by Decoupling the task of representing the ego and other Modalities for robust incomplete multi-modal Segmentation. The decoupling is super lightweight by simply using two convolutions to map each modality onto four feature sub-spaces. The first sub-space expresses itself (Self-feature), while the remaining sub-spaces substitute for other modalities (Mutual-features). The Self- and Mutual-features interactively guide each other through a carefully-designed Channel-wised Sparse Self-Attention (CSSA). After that, a Radiologist-mimic Cross-modality expression Relationships (RCR) is introduced to have available modalities provide Self-feature and also `lend’ their Mutual-features to compensate for the absent ones by exploiting the clinical prior knowledge. The benchmark results on BraTS2020, BraTS2018 and BraTS2015 verify the DeMoSeg’s superiority thanks to the alleviated modality adaptation difficulty. Concretely, for BraTS2020, DeMoSeg increases Dice by at least 0.92%, 2.95% and 4.95% on whole tumor, tumor core and enhanced tumor regions, respectively, compared to other state-of-the-arts. Codes are at https://github.com/kk42yy/DeMoSeg

arxiv情報

提供元, 利用サービス

arxiv.jp, Google