Mirror U-Net: Marrying Multimodal Fission with Multi-task Learning for Semantic Segmentation in Medical Imaging

要約

陽電子放出断層撮影法 (PET) とコンピューター断層撮影法 (CT) は、腫瘍の検出に日常的に併用されています。
PET/CT セグメンテーション モデルは腫瘍の描写を自動化できますが、現在のマルチモーダル モデルは、PET データと CT データを連結するか、決定レベルでそれらを融合するため、各モダリティの補完的な情報を十分に活用していません。
これに対抗するために、マルチモーダル表現をモダリティ固有のブランチと補助マルチモーダルデコーダーに因数分解することにより、従来の融合方法をマルチモーダル分裂に置き換える Mirror U-Net を提案します。
これらのブランチで、Mirror U-Net は各モダリティに合わせたタスクを割り当てて、共有表現のマルチモーダル機能を維持しながら、ユニモーダル機能を強化します。
分裂またはマルチタスク学習のいずれかを使用する以前の方法とは対照的に、Mirror U-Net は両方のパラダイムを統合されたフレームワークに結合します。
さまざまなタスクの組み合わせを調査し、モデルで共有するパラメーターを調べます。
AutoPET PET/CT とマルチモーダル MSD BrainTumor データセットで Mirror U-Net を評価し、マルチモーダル セグメンテーションでの有効性を実証し、両方のデータセットで最先端のパフォーマンスを達成します。
私たちのコードは公開されます。

要約(オリジナル)

Positron Emission Tomography (PET) and Computer Tomography (CT) are routinely used together to detect tumors. PET/CT segmentation models can automate tumor delineation, however, current multimodal models do not fully exploit the complementary information in each modality, as they either concatenate PET and CT data or fuse them at the decision level. To combat this, we propose Mirror U-Net, which replaces traditional fusion methods with multimodal fission by factorizing the multimodal representation into modality-specific branches and an auxiliary multimodal decoder. At these branches, Mirror U-Net assigns a task tailored to each modality to reinforce unimodal features while preserving multimodal features in the shared representation. In contrast to previous methods that use either fission or multi-task learning, Mirror U-Net combines both paradigms in a unified framework. We explore various task combinations and examine which parameters to share in the model. We evaluate Mirror U-Net on the AutoPET PET/CT and on the multimodal MSD BrainTumor datasets, demonstrating its effectiveness in multimodal segmentation and achieving state-of-the-art performance on both datasets. Our code will be made publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google