DMAF-Net: An Effective Modality Rebalancing Framework for Incomplete Multi-Modal Medical Image Segmentation

要約

不完全なマルチモーダル医療画像セグメンテーションは、不均衡なモダリティの欠落や不均一なモダリティの貢献など、モダリティの不均衡から重要な課題に直面しています。
完全なモダリティの可用性の理想的な仮定に依存しているため、既存の方法は貢献のバランスをとり、モダリティ間の構造的関係を無視することができず、実際の臨床シナリオで最適ではないパフォーマンスをもたらします。
これらの制限に対処するために、Dynamic Modality-Aware Fusion Network（DMAF-NET）という名前の新しいモデルを提案します。
DMAF-NETは、3つの重要なアイデアを採用しています。
まず、動的モダリティアウェアフュージョン（DMAF）モジュールを導入して、トランスの注意とアダプティブマスキングと重量モダリティの貢献を注意マップを介して動的に組み合わせることにより、欠落モダリティ干渉を抑制します。
第二に、相乗的な関係の蒸留とプロトタイプの蒸留フレームワークを設計して、クロスモーダルクラス固有のプロトタイプアライメントを通じてセマンティックな一貫性を確保しながら、共流の一貫性とマスクされたグラフの注意を介してグローバルローカル特徴のアライメントを実施します。
第三に、蒸留ギャップをリアルタイムで追跡することにより、不均衡な欠落率の下で最適化を安定させ、適応的に再び測定する損失とスケーリング勾配によってモダリティ全体の収束速度のバランスをとるための動的トレーニング監視（DTM）戦略を提示します。
Brats2020とMyops2020での広範な実験は、DMAF-NETが不完全なマルチモーダル医療画像セグメンテーションの既存の方法を上回ることを示しています。
Brats2020とMyops2020での広範な実験は、DMAF-NETが不完全なマルチモーダル医療画像セグメンテーションの既存の方法を上回ることを示しています。
私たちのコードは、https：//github.com/violet-42/dmaf-netで入手できます。

要約(オリジナル)

Incomplete multi-modal medical image segmentation faces critical challenges from modality imbalance, including imbalanced modality missing rates and heterogeneous modality contributions. Due to their reliance on idealized assumptions of complete modality availability, existing methods fail to dynamically balance contributions and neglect the structural relationships between modalities, resulting in suboptimal performance in real-world clinical scenarios. To address these limitations, we propose a novel model, named Dynamic Modality-Aware Fusion Network (DMAF-Net). The DMAF-Net adopts three key ideas. First, it introduces a Dynamic Modality-Aware Fusion (DMAF) module to suppress missing-modality interference by combining transformer attention with adaptive masking and weight modality contributions dynamically through attention maps. Second, it designs a synergistic Relation Distillation and Prototype Distillation framework to enforce global-local feature alignment via covariance consistency and masked graph attention, while ensuring semantic consistency through cross-modal class-specific prototype alignment. Third, it presents a Dynamic Training Monitoring (DTM) strategy to stabilize optimization under imbalanced missing rates by tracking distillation gaps in real-time, and to balance convergence speeds across modalities by adaptively reweighting losses and scaling gradients. Extensive experiments on BraTS2020 and MyoPS2020 demonstrate that DMAF-Net outperforms existing methods for incomplete multi-modal medical image segmentation. Extensive experiments on BraTS2020 and MyoPS2020 demonstrate that DMAF-Net outperforms existing methods for incomplete multi-modal medical image segmentation. Our code is available at https://github.com/violet-42/DMAF-Net.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google