Fast Diffusion Sampler for Inverse Problems by Geometric Decomposition

要約

拡散モデルは、逆問題の解決において並外れた性能を示しています。
ただし、主な制限の 1 つは、推論時間が遅いことです。
無条件サンプリング用に高速拡散サンプラーが開発されていますが、逆問題のコンテキストでの条件付きサンプリングに関する研究は限られています。
この研究では、拡散サンプリングの幾何学的分解を採用した、斬新で効率的な拡散サンプリング戦略を提案します。
具体的には、拡散モデルから生成されたサンプルが 2 つの直交成分に分解できることを発見しました。1 つはサンプルをクリーンなデータ マニホールドに投影することによって得られる「ノイズ除去」成分であり、もう 1 つは次への移行を誘発する「ノイズ」成分です。
確率的ノイズが追加された低レベルのノイズ多様体。
さらに、クリーン データ マニホールドの特定の条件下では、ノイズ除去された信号からコンディショニングを課すための共役勾配の更新がクリーン マニホールドに属し、その結果、はるかに高速で正確な拡散サンプリングが得られることを証明します。
私たちの方法は、パラメータ化と設定（つまり、VE、VP）に関係なく適用できます。
特に、マルチコイル MRI 再構成や 3D CT 再構成など、困難な実世界の医療逆画像処理の問題で最先端の再構成品質を達成しています。
さらに、提案手法は、従来の最先端手法に比べて 80 倍以上の高速な推論時間を実現しています。

要約(オリジナル)

Diffusion models have shown exceptional performance in solving inverse problems. However, one major limitation is the slow inference time. While faster diffusion samplers have been developed for unconditional sampling, there has been limited research on conditional sampling in the context of inverse problems. In this study, we propose a novel and efficient diffusion sampling strategy that employs the geometric decomposition of diffusion sampling. Specifically, we discover that the samples generated from diffusion models can be decomposed into two orthogonal components: a “denoised’ component obtained by projecting the sample onto the clean data manifold, and a “noise’ component that induces a transition to the next lower-level noisy manifold with the addition of stochastic noise. Furthermore, we prove that, under some conditions on the clean data manifold, the conjugate gradient update for imposing conditioning from the denoised signal belongs to the clean manifold, resulting in a much faster and more accurate diffusion sampling. Our method is applicable regardless of the parameterization and setting (i.e., VE, VP). Notably, we achieve state-of-the-art reconstruction quality on challenging real-world medical inverse imaging problems, including multi-coil MRI reconstruction and 3D CT reconstruction. Moreover, our proposed method achieves more than 80 times faster inference time than the previous state-of-the-art method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google