3D MedDiffusion: A 3D Medical Diffusion Model for Controllable and High-quality Medical Image Generation

要約

医療画像の生成には、その高解像度と 3 次元の性質により大きな課題が伴います。
既存の方法では、高品質の 3D 医療画像を生成する際に最適なパフォーマンスが得られないことが多く、現在、医療画像用の普遍的な生成フレームワークはありません。
このペーパーでは、制御可能な高品質の 3D 医療画像生成のための 3D Medical Diffusion (3D MedDiffusion) モデルを紹介します。
3D MedDiffusion には、パッチ単位のエンコードを通じて医療画像を潜在空間に圧縮し、ボリューム単位のデコードを通じて画像空間に復元する、新しい高効率のパッチボリューム オートエンコーダーが組み込まれています。
さらに、拡散ノイズ除去プロセス中に局所的な詳細と全体的な構造情報の両方を捕捉するための新しいノイズ推定器を設計しました。
3D MedDiffusion は、CT および MRI モダリティとさまざまな解剖学的領域 (頭から脚まで) をカバーする大規模なデータセットでトレーニングされているため、詳細な高解像度画像 (最大 512x512x512) を生成し、さまざまな下流タスクに効果的に適応できます。
実験結果は、3D MedDiffusion が生成品質において最先端の方法を上回り、スパースビュー CT 再構成、高速 MRI 再構成、データ拡張などのタスク全体にわたって強力な汎用性を示すことを示しています。

要約(オリジナル)

The generation of medical images presents significant challenges due to their high-resolution and three-dimensional nature. Existing methods often yield suboptimal performance in generating high-quality 3D medical images, and there is currently no universal generative framework for medical imaging. In this paper, we introduce the 3D Medical Diffusion (3D MedDiffusion) model for controllable, high-quality 3D medical image generation. 3D MedDiffusion incorporates a novel, highly efficient Patch-Volume Autoencoder that compresses medical images into latent space through patch-wise encoding and recovers back into image space through volume-wise decoding. Additionally, we design a new noise estimator to capture both local details and global structure information during diffusion denoising process. 3D MedDiffusion can generate fine-detailed, high-resolution images (up to 512x512x512) and effectively adapt to various downstream tasks as it is trained on large-scale datasets covering CT and MRI modalities and different anatomical regions (from head to leg). Experimental results demonstrate that 3D MedDiffusion surpasses state-of-the-art methods in generative quality and exhibits strong generalizability across tasks such as sparse-view CT reconstruction, fast MRI reconstruction, and data augmentation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google