Gaussian is All You Need: A Unified Framework for Solving Inverse Problems via Diffusion Posterior Sampling

要約

拡散モデルは、複雑なデータ分布をモデル化することで、さまざまな高品質の画像を生成できます。
トレーニングされた拡散モデルは、逆問題を解決するための非常に効果的な画像事前分布としても機能します。
既存の拡散ベースの手法のほとんどは、拡散逆サンプリング プロセス内にデータ整合性ステップを統合しています。
データ整合性ステップは、近似尤度関数に依存します。
この論文では、既存の近似が不十分であるか、計算効率が低いことを示します。
これらの問題に対処するために、共分散補正項を組み込んでパフォーマンスを向上させ、拡散モデルを介した勾配の伝播を回避する統一尤度近似法を提案します。
補正項を逆拡散サンプリング プロセスに統合すると、選択した分布の事後真のデータへの収束が向上し、現実世界の自然画像データセットのパフォーマンスが向上します。
さらに、いくつかの逆問題に対する尤度関数の共分散行列を因数分解して逆変換する効率的な方法を提案します。
いくつかの既存のアプローチに対する私たちの方法の有効性を実証するための包括的な実験を紹介します。

要約(オリジナル)

Diffusion models can generate a variety of high-quality images by modeling complex data distributions. Trained diffusion models can also be very effective image priors for solving inverse problems. Most of the existing diffusion-based methods integrate data consistency steps within the diffusion reverse sampling process. The data consistency steps rely on an approximate likelihood function. In this paper, we show that the existing approximations are either insufficient or computationally inefficient. To address these issues, we propose a unified likelihood approximation method that incorporates a covariance correction term to enhance the performance and avoids propagating gradients through the diffusion model. The correction term, when integrated into the reverse diffusion sampling process, achieves better convergence towards the true data posterior for selected distributions and improves performance on real-world natural image datasets. Furthermore, we present an efficient way to factorize and invert the covariance matrix of the likelihood function for several inverse problems. We present comprehensive experiments to demonstrate the effectiveness of our method over several existing approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google