Anatomically-Controllable Medical Image Generation with Segmentation-Guided Diffusion Models

要約

拡散モデルにより、非常に高品質な医用画像の生成が可能になりましたが、生成された画像に解剖学的制約を強制することは困難です。
これにより、事前登録された画像の生成、反事実のシナリオなど、多くの有用なアプリケーションが妨げられます。
この目的を達成するために、各サンプリング ステップでマルチクラスの解剖学的セグメンテーション マスクに従うことにより、解剖学的に制御可能な医用画像の生成をサポートする拡散モデルベースの方法を提案します。
さらに、ランダム マスク アブレーション トレーニング アルゴリズムを導入して、解剖学的制約の選択された組み合わせでの条件付けを可能にし、他の解剖学的領域での柔軟性を可能にします。
私たちのモデル (「Seg-Diff」) を、幅広い解剖学的対象を使用した乳房 MRI および腹部/首から骨盤の CT データセットに関する既存の方法と比較します。
結果は、両方のデータセットに解剖学的マスクを入力するために生成された画像の忠実性が新たな最先端に達し、一般的な解剖学的リアリズムと同等であることを示しています。
最後に、私たちのモデルには、潜在空間での補間を通じて、生成された画像と選択した実際の画像の解剖学的類似性を調整できるという追加の利点もあります。

要約(オリジナル)

Diffusion models have enabled remarkably high-quality medical image generation, yet it is challenging to enforce anatomical constraints in generated images. This hampers many useful applications, including pre-registered image generation, counterfactual scenarios, and others. To this end, we propose a diffusion model-based method that supports anatomically-controllable medical image generation, by following a multi-class anatomical segmentation mask at each sampling step. We additionally introduce a random mask ablation training algorithm to enable conditioning on a selected combination of anatomical constraints while allowing flexibility in other anatomical areas. We compare our model (‘Seg-Diff’) to existing methods on breast MRI and abdominal/neck-to-pelvis CT datasets with a wide range of anatomical objects. Results show that it reaches a new state-of-the-art in the faithfulness of generated images to input anatomical masks on both datasets, and is on par for general anatomical realism. Finally, our model also enjoys the extra benefit of being able to adjust the anatomical similarity of generated images to real images of choice through interpolation in its latent space.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google