CKD-TransBTS: Clinical Knowledge-Driven Hybrid Transformer with Modality-Correlated Cross-Attention for Brain Tumor Segmentation

要約

磁気共鳴画像（MRI）での脳腫瘍セグメンテーション（BTS）は、脳腫瘍の診断、癌の管理​​、および研究の目的にとって非常に重要です。
10年間のBraTSチャレンジの大成功と、CNNおよびTransformerアルゴリズムの進歩により、さまざまな技術的側面でBTSの困難に取り組むために多くの優れたBTSモデルが提案されています。
ただし、既存の研究では、マルチモダリティ画像を合理的な方法で融合する方法についてはほとんど検討されていません。
この論文では、放射線科医が複数のMRIモダリティから脳腫瘍を診断する方法の臨床知識を活用し、CKD-TransBTSと呼ばれる臨床知識主導の脳腫瘍セグメンテーションモデルを提案します。
すべてのモダリティを直接連結する代わりに、MRIのイメージング原理に従って、入力モダリティを2つのグループに分割することにより、入力モダリティを再編成します。
提案されたモダリティ相関クロスアテンションブロック（MCCA）を備えたデュアルブランチハイブリッドエンコーダは、マルチモダリティ画像の特徴を抽出するように設計されています。
提案されたモデルは、トランスフォーマーとCNNの両方から長所を継承し、正確な病変境界の局所特徴表現機能と3Dボリューム画像の長距離特徴抽出を備えています。
TransformerとCNN機能の間のギャップを埋めるために、デコーダーにTrans＆CNN機能キャリブレーションブロック（TCFC）を提案します。
提案されたモデルを、BraTS2021チャレンジデータセットの5つのCNNベースのモデルおよび6つのトランスベースのモデルと比較します。
広範な実験は、提案されたモデルがすべての競合他社と比較して最先端の脳腫瘍セグメンテーション性能を達成することを示しています。

要約(オリジナル)

Brain tumor segmentation (BTS) in magnetic resonance image (MRI) is crucial for brain tumor diagnosis, cancer management and research purposes. With the great success of the ten-year BraTS challenges as well as the advances of CNN and Transformer algorithms, a lot of outstanding BTS models have been proposed to tackle the difficulties of BTS in different technical aspects. However, existing studies hardly consider how to fuse the multi-modality images in a reasonable manner. In this paper, we leverage the clinical knowledge of how radiologists diagnose brain tumors from multiple MRI modalities and propose a clinical knowledge-driven brain tumor segmentation model, called CKD-TransBTS. Instead of directly concatenating all the modalities, we re-organize the input modalities by separating them into two groups according to the imaging principle of MRI. A dual-branch hybrid encoder with the proposed modality-correlated cross-attention block (MCCA) is designed to extract the multi-modality image features. The proposed model inherits the strengths from both Transformer and CNN with the local feature representation ability for precise lesion boundaries and long-range feature extraction for 3D volumetric images. To bridge the gap between Transformer and CNN features, we propose a Trans&CNN Feature Calibration block (TCFC) in the decoder. We compare the proposed model with five CNN-based models and six transformer-based models on the BraTS 2021 challenge dataset. Extensive experiments demonstrate that the proposed model achieves state-of-the-art brain tumor segmentation performance compared with all the competitors.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google