Enhancing Incomplete Multi-modal Brain Tumor Segmentation with Intra-modal Asymmetry and Inter-modal Dependency

要約

マルチモーダル MRI 画像用の深層学習ベースの脳腫瘍セグメンテーション (BTS) モデルは、近年大幅な進歩を遂げています。
ただし、実際の一般的な問題は、スキャン プロトコルや患者の状態が異なるために一部のモダリティが利用できないことであり、不完全な MRI モダリティからのセグメント化が困難な問題となっています。
これまでの方法では、アクセス可能なマルチモーダル機能を融合し、注意メカニズムを活用し、生成モデルを使用して不足しているモダリティを合成することで、この問題に対処しようと試みてきました。
ただし、これらの方法では、特に腫瘍のある場合、トレーニング サンプルの利用可能性が限られているなど、医療画像セグメンテーションの本質的な問題が無視されています。
さらに、これらの方法では、欠落しているモダリティのサブセットごとに特定のモデルをトレーニングして展開する必要があります。
これらの問題に対処するために、2 つの観点から BTS モデルを強化する新しいアプローチを提案します。
まず、腫瘍の形状と脳の解剖学的構造のさまざまな組み合わせをカバーする多様な事前トレーニング データセットを生成する事前トレーニング ステージを紹介します。
次に、部分的なモダリティのみが利用可能な場合に、予測結果で欠落しているモダリティをモデルが再構築できるようにするトレーニング後の段階を提案します。
事前トレーニング段階を達成するために、概念的には MRI 画像を「解剖学」と「腫瘍」の 2 つの部分に分離します。
さまざまなトレーニング サンプルにわたる解剖学的構造と腫瘍部分から生成された合成データを使用して、BTS モデルを事前トレーニングします。
…広範な実験により、私たちが提案した手法がベースラインよりもパフォーマンスを大幅に向上させ、3 つの脳腫瘍セグメンテーション データセット (BRATS2020、BRATS2018、BRATS2015) で新しい最先端の結果が得られることが実証されました。

要約(オリジナル)

Deep learning-based brain tumor segmentation (BTS) models for multi-modal MRI images have seen significant advancements in recent years. However, a common problem in practice is the unavailability of some modalities due to varying scanning protocols and patient conditions, making segmentation from incomplete MRI modalities a challenging issue. Previous methods have attempted to address this by fusing accessible multi-modal features, leveraging attention mechanisms, and synthesizing missing modalities using generative models. However, these methods ignore the intrinsic problems of medical image segmentation, such as the limited availability of training samples, particularly for cases with tumors. Furthermore, these methods require training and deploying a specific model for each subset of missing modalities. To address these issues, we propose a novel approach that enhances the BTS model from two perspectives. Firstly, we introduce a pre-training stage that generates a diverse pre-training dataset covering a wide range of different combinations of tumor shapes and brain anatomy. Secondly, we propose a post-training stage that enables the model to reconstruct missing modalities in the prediction results when only partial modalities are available. To achieve the pre-training stage, we conceptually decouple the MRI image into two parts: `anatomy’ and `tumor’. We pre-train the BTS model using synthesized data generated from the anatomy and tumor parts across different training samples. … Extensive experiments demonstrate that our proposed method significantly improves the performance over the baseline and achieves new state-of-the-art results on three brain tumor segmentation datasets: BRATS2020, BRATS2018, and BRATS2015.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google