A Novel Unified Conditional Score-based Generative Framework for Multi-modal Medical Image Completion

要約

マルチモーダル医用画像補完は、豊富なマルチモーダル診断タスクで欠落しているモダリティの問題を軽減するために広く適用されています。
ただし、ほとんどの既存の合成方法では、欠落しているモダリティの推論は、クロスモーダル関係に固有の不確実性を無視して、利用可能なものからの決定論的マッピングに崩壊する可能性があります。
ここでは、ターゲット確率分布のモデリングと確率的サンプリングでスコアベースの生成モデル（SGM）を利用し、さらにSGMをクロスモーダルに拡張する統合マルチモーダル条件付きスコアベースの生成モデル（UMM-CSGM）を提案します。
統一されたフレームワークでのさまざまなミッシングモダリティ構成の条件付き合成。
具体的には、UMM-CSGMは、新しいマルチインマルチアウト条件付きスコアネットワーク（mm-CSN）を使用して、完全なモダリティ空間での条件付き拡散と逆生成を介したクロスモーダル条件付き分布の包括的なセットを学習します。
このようにして、生成プロセスは、利用可能なすべての情報によって正確に調整でき、単一のネットワークで欠落しているモダリティのすべての可能な構成に適合できます。
BraTS19データセットでの実験は、UMM-CSGMが、欠落しているモダリティについて、腫瘍誘発病変の不均一な増強と不規則な領域をより確実に合成できることを示しています。

要約(オリジナル)

Multi-modal medical image completion has been extensively applied to alleviate the missing modality issue in a wealth of multi-modal diagnostic tasks. However, for most existing synthesis methods, their inferences of missing modalities can collapse into a deterministic mapping from the available ones, ignoring the uncertainties inherent in the cross-modal relationships. Here, we propose the Unified Multi-Modal Conditional Score-based Generative Model (UMM-CSGM) to take advantage of Score-based Generative Model (SGM) in modeling and stochastically sampling a target probability distribution, and further extend SGM to cross-modal conditional synthesis for various missing-modality configurations in a unified framework. Specifically, UMM-CSGM employs a novel multi-in multi-out Conditional Score Network (mm-CSN) to learn a comprehensive set of cross-modal conditional distributions via conditional diffusion and reverse generation in the complete modality space. In this way, the generation process can be accurately conditioned by all available information, and can fit all possible configurations of missing modalities in a single network. Experiments on BraTS19 dataset show that the UMM-CSGM can more reliably synthesize the heterogeneous enhancement and irregular area in tumor-induced lesions for any missing modalities.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google