Fuse4Seg: Image-Level Fusion Based Multi-Modality Medical Image Segmentation

要約

マルチモダリティ医療画像セグメンテーションは、多様な画像モダリティを統合することで複雑な疾患の診断と理解を強化する大きな可能性を秘めていますが、既存の方法は主に特徴レベルの融合戦略に依存しています。
現在の特徴レベル融合戦略は、評価制御を行わずにニューラルネットワークの中間層で特徴を融合するため、さまざまな画像モダリティにわたって意味論的な不一致や不整合が発生しやすいと我々は主張する。
これを軽減するために、我々は、新しい画像レベル融合ベースのマルチモダリティ医用画像セグメンテーション手法である Fuse4Seg を導入します。これは、医用画像セグメンテーションと医用画像融合の間の絡み合った依存関係をモデル化するように設計された 2 レベルの学習フレームワークです。
画像レベルの融合プロセスは、階層化された最適化アプローチを通じてセグメンテーション結果を導き、強化するためにシームレスに採用されています。
さらに、セグメンテーション モジュールから得られた知識は、融合モジュールを効果的に強化できます。
これにより、結果として得られる融合画像が、すべてのモダリティからの情報を正確に融合した一貫した表現となることが保証されます。
さらに、2040 個のペアのオリジナル画像、マルチモーダル フュージョン画像、グラウンド トゥルースを含む BraTS データセットに基づいて BraTS-Fuse ベンチマークを構築します。
このベンチマークは、画像レベルの医療セグメンテーションに役立つだけでなく、これまでの医療画像融合のための最大のデータセットでもあります。
いくつかの公開データセットと当社のベンチマークに関する広範な実験により、当社のアプローチが従来の最先端 (SOTA) 手法よりも優れていることが実証されました。

要約(オリジナル)

Although multi-modality medical image segmentation holds significant potential for enhancing the diagnosis and understanding of complex diseases by integrating diverse imaging modalities, existing methods predominantly rely on feature-level fusion strategies. We argue the current feature-level fusion strategy is prone to semantic inconsistencies and misalignments across various imaging modalities because it merges features at intermediate layers in a neural network without evaluative control. To mitigate this, we introduce a novel image-level fusion based multi-modality medical image segmentation method, Fuse4Seg, which is a bi-level learning framework designed to model the intertwined dependencies between medical image segmentation and medical image fusion. The image-level fusion process is seamlessly employed to guide and enhance the segmentation results through a layered optimization approach. Besides, the knowledge gained from the segmentation module can effectively enhance the fusion module. This ensures that the resultant fused image is a coherent representation that accurately amalgamates information from all modalities. Moreover, we construct a BraTS-Fuse benchmark based on BraTS dataset, which includes 2040 paired original images, multi-modal fusion images, and ground truth. This benchmark not only serves image-level medical segmentation but is also the largest dataset for medical image fusion to date. Extensive experiments on several public datasets and our benchmark demonstrate the superiority of our approach over prior state-of-the-art (SOTA) methodologies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google