Decomposed Diffusion Sampler for Accelerating Large-Scale Inverse Problems

要約

クリロフ部分空間は、指定されたベクトルに線形変換とその連続累乗の行列を乗算することによって生成され、大規模な線形逆問題に対して迅速に収束するアルゴリズムを設計するために、古典的な最適化文献で広く研究されてきました。
たとえば、最も一般的なクリロフ部分空間法の 1 つである共役勾配法 (CG) は、クリロフ部分空間の残留誤差を最小限に抑えるという考えに基づいています。
しかし、最近の逆問題用の高性能拡散ソルバーの進歩により、古典的な知恵を現代の拡散モデルとどのように相乗的に組み合わせることができるかは明らかではありません。
この研究では、拡散サンプリングとクリロフ部分空間法を相乗的に組み合わせた、新規で効率的な拡散サンプリング戦略を提案します。
具体的には、トゥイーディーの公式によるノイズ除去されたサンプルの接線空間がクリロフ部分空間を形成する場合、ノイズ除去されたデータで初期化された CG により、データの一貫性の更新が接線空間に残ることが保証されることを証明します。
これにより、多様体拘束勾配 (MCG) を計算する必要がなくなり、より効率的な拡散サンプリング方法が実現します。
私たちの方法は、パラメータ化と設定（つまり、VE、VP）に関係なく適用できます。
特に、マルチコイル MRI 再構成や 3D CT 再構成など、困難な現実世界の医療逆イメージング問題に関して、最先端の再構成品質を実現しています。
さらに、私たちの提案手法は、以前の最先端の手法よりも 80 倍以上高速な推論時間を実現します。
コードは https://github.com/HJ-harry/DDS で入手できます。

要約(オリジナル)

Krylov subspace, which is generated by multiplying a given vector by the matrix of a linear transformation and its successive powers, has been extensively studied in classical optimization literature to design algorithms that converge quickly for large linear inverse problems. For example, the conjugate gradient method (CG), one of the most popular Krylov subspace methods, is based on the idea of minimizing the residual error in the Krylov subspace. However, with the recent advancement of high-performance diffusion solvers for inverse problems, it is not clear how classical wisdom can be synergistically combined with modern diffusion models. In this study, we propose a novel and efficient diffusion sampling strategy that synergistically combines the diffusion sampling and Krylov subspace methods. Specifically, we prove that if the tangent space at a denoised sample by Tweedie’s formula forms a Krylov subspace, then the CG initialized with the denoised data ensures the data consistency update to remain in the tangent space. This negates the need to compute the manifold-constrained gradient (MCG), leading to a more efficient diffusion sampling method. Our method is applicable regardless of the parametrization and setting (i.e., VE, VP). Notably, we achieve state-of-the-art reconstruction quality on challenging real-world medical inverse imaging problems, including multi-coil MRI reconstruction and 3D CT reconstruction. Moreover, our proposed method achieves more than 80 times faster inference time than the previous state-of-the-art method. Code is available at https://github.com/HJ-harry/DDS

arxiv情報

提供元, 利用サービス

arxiv.jp, Google