Enhancing Cross-Modal Medical Image Segmentation through Compositionality

要約

異なる画像モダリティによって生成される画像の解像度、コントラスト、解剖学的構造の外観が異なるため、クロスモーダル医療画像のセグメンテーションには大きな課題があります。
複雑さを軽減しながらセグメンテーションのパフォーマンスと解釈可能性を向上させるために、クロスモーダル セグメンテーション ネットワークに誘導バイアスとして構成性を導入します。
提案されたネットワークは、学習可能なフォン ミーゼス フィッシャー カーネルを使用して、学習された表現に構成性を強制する、エンドツーエンドのクロスモーダル セグメンテーション フレームワークです。
これらのカーネルは、学習された表現におけるコンテンツ スタイルのもつれの解消を促進し、その結果、本質的に解釈可能であり、さまざまな解剖学的構造のもつれを効果的に解消する構成的なコンテンツ表現が得られます。
実験結果は、複数の医療データセットでセグメンテーションのパフォーマンスが向上し、計算コストが削減されたことを示しています。
さらに、学習した構成上の特徴の解釈可能性を実証します。
コードとチェックポイントは、https://github.com/Trustworthy-AI-UU-NKI/Cross-Modal-Segmentation で公開されます。

要約(オリジナル)

Cross-modal medical image segmentation presents a significant challenge, as different imaging modalities produce images with varying resolutions, contrasts, and appearances of anatomical structures. We introduce compositionality as an inductive bias in a cross-modal segmentation network to improve segmentation performance and interpretability while reducing complexity. The proposed network is an end-to-end cross-modal segmentation framework that enforces compositionality on the learned representations using learnable von Mises-Fisher kernels. These kernels facilitate content-style disentanglement in the learned representations, resulting in compositional content representations that are inherently interpretable and effectively disentangle different anatomical structures. The experimental results demonstrate enhanced segmentation performance and reduced computational costs on multiple medical datasets. Additionally, we demonstrate the interpretability of the learned compositional features. Code and checkpoints will be publicly available at: https://github.com/Trustworthy-AI-UU-NKI/Cross-Modal-Segmentation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google