Toward Unpaired Multi-modal Medical Image Segmentation via Learning Structured Semantic Consistency

要約

タイトル：学習された構造化意味一貫性による非対応多モーダル医療画像セグメンテーションに向けて

要約：
– 複数の検査モードを統合して、医療画像解析を促進することが注目されている。
– この論文では、相互の利益を学習することで、異なるモードを持つ医療画像のセグメンテーション結果を改善する新しい手法を提案している。
– 我々の手法は、実用的な観点からこのタスクの2つの重要な課題を解決する： (1) 様々なモード（例えば、CTとMRI）の意味上の一貫性を有効に学習する方法、および (2) これらの一貫性を利用してネットワーク学習を規制する方法。
– (1)を解決するために、我々は、異なるモードの意味クラス表現とその相関を整列させるための注意力モジュールを利用する。 (2)を解決するために、提案されたモジュールは、外部でプラグインでき、モデルが最適化された後に取り除くことができるように設計されている。
– 提案手法の有効性を示すために、心臓構造セグメンテーションと腹部多臓器セグメンテーションの2つの場合で評価した。広範な結果から、提案手法が他の手法よりも優れていることが示された。

要約(オリジナル)

Integrating multi-modal data to promote medical image analysis has recently gained great attention. This paper presents a novel scheme to learn the mutual benefits of different modalities to achieve better segmentation results for unpaired multi-modal medical images. Our approach tackles two critical issues of this task from a practical perspective: (1) how to effectively learn the semantic consistencies of various modalities (e.g., CT and MRI), and (2) how to leverage the above consistencies to regularize the network learning while preserving its simplicity. To address (1), we leverage a carefully designed External Attention Module (EAM) to align semantic class representations and their correlations of different modalities. To solve (2), the proposed EAM is designed as an external plug-and-play one, which can be discarded once the model is optimized. We have demonstrated the effectiveness of the proposed method on two medical image segmentation scenarios: (1) cardiac structure segmentation, and (2) abdominal multi-organ segmentation. Extensive results show that the proposed method outperforms its counterparts by a wide margin.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI