Resolution-Robust 3D MRI Reconstruction with 2D Diffusion Priors: Diverse-Resolution Training Outperforms Interpolation

要約

ディープラーニングベースの 3D イメージング、特に磁気共鳴イメージング (MRI) は、利用可能な 3D トレーニング データが限られているため、困難を伴います。
したがって、2D スライスでトレーニングされた 2D 拡散モデルが 3D MRI 再構成に活用され始めています。
ただし、この論文で示すように、既存の方法は固定のボクセル サイズに関係しており、臨床現場ではよくあることですが、ボクセル サイズが変化するとパフォーマンスが低下します。
この論文では、2D 拡散プリアを使用した解像度の堅牢な 3D MRI 再構成のためのいくつかのアプローチを提案および研究します。
この調査の結果、ランダムにサンプリングされた 2D スライスの拡散誘導正則化に基づいた、シンプルで解像​​度が堅牢な変分 3D 再構成アプローチが得られました。
この方法は、事後サンプリング ベースラインと比較して、優れた再構成品質を提供します。
解像度シフトに対する感度の解決に向けて、ガウス スプラッティング、ニューラル表現、無限次元拡散モデルなどの最先端のモデルベースのアプローチと、拡散モデルをトレーニングするシンプルなデータ中心のアプローチを調査します。
いくつかの決議について。
私たちの実験は、モデルベースのアプローチでは 3D MRI のパフォーマンスのギャップを埋めることができないことを示しています。
対照的に、さまざまな解像度で拡散モデルをトレーニングするデータ中心のアプローチは、精度を損なうことなく、解像度に堅牢な方法を効果的に提供します。

要約(オリジナル)

Deep learning-based 3D imaging, in particular magnetic resonance imaging (MRI), is challenging because of limited availability of 3D training data. Therefore, 2D diffusion models trained on 2D slices are starting to be leveraged for 3D MRI reconstruction. However, as we show in this paper, existing methods pertain to a fixed voxel size, and performance degrades when the voxel size is varied, as it is often the case in clinical practice. In this paper, we propose and study several approaches for resolution-robust 3D MRI reconstruction with 2D diffusion priors. As a result of this investigation, we obtain a simple resolution-robust variational 3D reconstruction approach based on diffusion-guided regularization of randomly sampled 2D slices. This method provides competitive reconstruction quality compared to posterior sampling baselines. Towards resolving the sensitivity to resolution-shifts, we investigate state-of-the-art model-based approaches including Gaussian splatting, neural representations, and infinite-dimensional diffusion models, as well as a simple data-centric approach of training the diffusion model on several resolutions. Our experiments demonstrate that the model-based approaches fail to close the performance gap in 3D MRI. In contrast, the data-centric approach of training the diffusion model on various resolutions effectively provides a resolution-robust method without compromising accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google