Make-A-Volume: Leveraging Latent Diffusion Models for Cross-Modality 3D Brain MRI Synthesis

要約

クロスモダリティ医用画像合成は重要なテーマであり、医用画像分野における数多くのアプリケーションを促進する可能性があります。
深層学習ベースの生成モデルにおける最近の成功にもかかわらず、現在の医療画像合成手法のほとんどは敵対的生成ネットワークに依存しており、悪名高いモード崩壊と不安定なトレーニングに悩まされています。
さらに、2D バックボーン主導のアプローチでは容積の不一致が容易に発生しますが、3D バックボーンは膨大なメモリ コストとトレーニングの難しさのため、困難で非現実的です。
この論文では、2D バックボーンを活用したボリューム医療データ合成の新しいパラダイムを紹介し、クロスモダリティ 3D 医療画像合成のための拡散ベースのフレームワークである Make-A- Volume を紹介します。
クロスモダリティのスライスごとのマッピングを学習するために、潜在拡散モデルを採用し、低次元の潜在空間を学習することで、高い計算効率が得られます。
3D 画像合成を可能にし、体積の不一致を軽減するために、2D スライス マッピング モデルに一連の体積レイヤーをさらに挿入し、ペアの 3D データでそれらを微調整します。
このパラダイムは、2D 画像拡散モデルを、パラメータと計算の数がわずかに増加したボリューム バージョンに拡張し、一般的なクロスモダリティ 3D 医用画像合成のための原理的なソリューションを提供します。
社内の SWI-MRA 脳 MRI データセットと公開されている T1-T2 脳 MRI データセットに対する Make-A- Volume フレームワークの有効性を紹介します。
実験結果は、私たちのフレームワークが体積の一貫性を備えた優れた合成結果を達成することを示しています。

要約(オリジナル)

Cross-modality medical image synthesis is a critical topic and has the potential to facilitate numerous applications in the medical imaging field. Despite recent successes in deep-learning-based generative models, most current medical image synthesis methods rely on generative adversarial networks and suffer from notorious mode collapse and unstable training. Moreover, the 2D backbone-driven approaches would easily result in volumetric inconsistency, while 3D backbones are challenging and impractical due to the tremendous memory cost and training difficulty. In this paper, we introduce a new paradigm for volumetric medical data synthesis by leveraging 2D backbones and present a diffusion-based framework, Make-A-Volume, for cross-modality 3D medical image synthesis. To learn the cross-modality slice-wise mapping, we employ a latent diffusion model and learn a low-dimensional latent space, resulting in high computational efficiency. To enable the 3D image synthesis and mitigate volumetric inconsistency, we further insert a series of volumetric layers in the 2D slice-mapping model and fine-tune them with paired 3D data. This paradigm extends the 2D image diffusion model to a volumetric version with a slightly increasing number of parameters and computation, offering a principled solution for generic cross-modality 3D medical image synthesis. We showcase the effectiveness of our Make-A-Volume framework on an in-house SWI-MRA brain MRI dataset and a public T1-T2 brain MRI dataset. Experimental results demonstrate that our framework achieves superior synthesis results with volumetric consistency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google