multiPI-TransBTS: A Multi-Path Learning Framework for Brain Tumor Image Segmentation Based on Multi-Physical Information

要約

脳腫瘍セグメンテーション (BraTS) は、臨床診断、治療計画、脳腫瘍の進行の監視において重要な役割を果たします。
ただし、MRI モダリティが異なると腫瘍の外観、サイズ、強度が異なるため、自動セグメンテーションは依然として困難な作業です。
この研究では、複数の物理情報を統合してセグメンテーションの精度を向上させる、新しい Transformer ベースのフレームワーク multiPI-TransBTS を提案します。
このモデルは、空間情報、意味情報、およびマルチモーダル画像データを活用し、脳腫瘍の特性における固有の不均一性に対処します。
multiPI-TransBTS フレームワークは、エンコーダ、適応機能融合 (AFF) モジュール、およびマルチソース、マルチスケール機能デコーダで構成されます。
エンコーダには、さまざまな MRI シーケンスからモダリティ固有の特徴を個別に抽出するマルチブランチ アーキテクチャが組み込まれています。
AFF モジュールは、チャネルごとおよび要素ごとの注意を使用して複数のソースからの情報を融合し、効果的な機能の再キャリブレーションを保証します。
デコーダは、タスク固有機能導入 (TSFI) 戦略を通じて共通機能とタスク固有の機能の両方を組み合わせ、腫瘍全体 (WT)、腫瘍コア (TC)、および腫瘍増強 (ET) 領域の正確なセグメンテーション出力を生成します。
BraTS2019 および BraTS2020 データセットの包括的な評価により、最先端の手法に対する multiPI-TransBTS の優位性が実証されました。
このモデルは一貫してより優れた Dice 係数、ハウスドルフ距離、感度スコアを達成しており、BraTS の課題への対処におけるその有効性を強調しています。
私たちの結果は、ET セグメンテーション タスクにおける精度と再現率のバランスをさらに検討する必要があることも示しています。
提案されたフレームワークは BraTS の大幅な進歩を表しており、脳腫瘍患者の臨床転帰の改善に潜在的な影響を及ぼします。

要約(オリジナル)

Brain Tumor Segmentation (BraTS) plays a critical role in clinical diagnosis, treatment planning, and monitoring the progression of brain tumors. However, due to the variability in tumor appearance, size, and intensity across different MRI modalities, automated segmentation remains a challenging task. In this study, we propose a novel Transformer-based framework, multiPI-TransBTS, which integrates multi-physical information to enhance segmentation accuracy. The model leverages spatial information, semantic information, and multi-modal imaging data, addressing the inherent heterogeneity in brain tumor characteristics. The multiPI-TransBTS framework consists of an encoder, an Adaptive Feature Fusion (AFF) module, and a multi-source, multi-scale feature decoder. The encoder incorporates a multi-branch architecture to separately extract modality-specific features from different MRI sequences. The AFF module fuses information from multiple sources using channel-wise and element-wise attention, ensuring effective feature recalibration. The decoder combines both common and task-specific features through a Task-Specific Feature Introduction (TSFI) strategy, producing accurate segmentation outputs for Whole Tumor (WT), Tumor Core (TC), and Enhancing Tumor (ET) regions. Comprehensive evaluations on the BraTS2019 and BraTS2020 datasets demonstrate the superiority of multiPI-TransBTS over the state-of-the-art methods. The model consistently achieves better Dice coefficients, Hausdorff distances, and Sensitivity scores, highlighting its effectiveness in addressing the BraTS challenges. Our results also indicate the need for further exploration of the balance between precision and recall in the ET segmentation task. The proposed framework represents a significant advancement in BraTS, with potential implications for improving clinical outcomes for brain tumor patients.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google