LDPM: Towards undersampled MRI reconstruction with MR-VAE and Latent Diffusion Prior

要約

拡散モデルは、強力な生成モデルとして、幅広いアプリケーションを発見し、画像の再構成の問題を解決する上で大きな可能性を示しています。
一部の作品は、拡散モデルでMRI再構成を解決しようとしましたが、これらの方法はピクセル空間で直接動作し、最適化と推論のための計算コストが高くなります。
豊富な視覚前の自然画像で事前に訓練された潜在的な拡散モデルは、より低次元の潜在空間で動作することにより、MRI再構成の高い計算コスト問題を解決することが期待されています。
ただし、MRI再構成への直接的な適用は、3つの重要な課題に直面しています。（1）医療忠実度の明示的な制御メカニズムの欠如、（2）自然画像とMR物理学の間のドメインギャップ、および（3）潜在空間における未定義のデータの一貫性。
これらの課題に対処するために、以前の新しい潜在的な拡散以前のアンダーサンプリングMRI再構成（LDPM）メソッドが提案されています。
私たちのLDPMフレームワークは、これらの課題に次のように対処します。（1）知覚の質と解剖学的忠実度のバランスをとる2段階の再構成戦略を備えたスケッチ誘導パイプライン、（2）MRI-Optimized VAE（MR-vae）は、SD-vaeと比較したPSNRで約3.92 dBの改善を達成します。
\ cite {sd}、および（3）デュアルステージサンプラー、潜在空間で高忠実度の再構築を実施する間隔のDDPMサンプラーの変更されたバージョン。
FastMri DataSet \ Cite {FastMri}の実験は、提案された方法の最先端のパフォーマンスと、さまざまなシナリオでのその堅牢性を示しています。
各モジュールの有効性は、アブレーション実験によっても検証されます。

要約(オリジナル)

Diffusion models, as powerful generative models, have found a wide range of applications and shown great potential in solving image reconstruction problems. Some works attempted to solve MRI reconstruction with diffusion models, but these methods operate directly in pixel space, leading to higher computational costs for optimization and inference. Latent diffusion models, pre-trained on natural images with rich visual priors, are expected to solve the high computational cost problem in MRI reconstruction by operating in a lower-dimensional latent space. However, direct application to MRI reconstruction faces three key challenges: (1) absence of explicit control mechanisms for medical fidelity, (2) domain gap between natural images and MR physics, and (3) undefined data consistency in latent space. To address these challenges, a novel Latent Diffusion Prior-based undersampled MRI reconstruction (LDPM) method is proposed. Our LDPM framework addresses these challenges by: (1) a sketch-guided pipeline with a two-step reconstruction strategy, which balances perceptual quality and anatomical fidelity, (2) an MRI-optimized VAE (MR-VAE), which achieves an improvement of approximately 3.92 dB in PSNR for undersampled MRI reconstruction compared to that with SD-VAE \cite{sd}, and (3) Dual-Stage Sampler, a modified version of spaced DDPM sampler, which enforces high-fidelity reconstruction in the latent space. Experiments on the fastMRI dataset\cite{fastmri} demonstrate the state-of-the-art performance of the proposed method and its robustness across various scenarios. The effectiveness of each module is also verified through ablation experiments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google