Diffusion State-Guided Projected Gradient for Inverse Problems

要約

最近の拡散モデルの進歩は、逆問題を解くためのデータ事前分布を学習するのに有効である。拡散モデルは、データ事前分布を誘導するために拡散サンプリングステップを利用し、データの一貫性を課すために各ステップで測定誘導勾配を利用する。一般的な逆問題では、無条件に訓練された拡散モデルを用いる場合、測定尤度が実行不可能であり、不正確な事後サンプリングにつながるため、近似が必要となる。言い換えれば、近似のために、これらの手法は拡散事前分布によって定義されるデータ多様体上の生成過程を保存できず、画像復元などの応用においてアーチファクトを引き起こす。逆問題を解く際の拡散モデルの性能とロバスト性を向上させるために、我々は、拡散過程の中間状態の低ランク近似である部分空間に計測勾配を投影する拡散状態ガイド投影勾配（DiffStateGrad）を提案する。DiffStateGradは、モジュールとして、事前多様体上の拡散過程の保存を改善し、アーチファクトを誘発する成分をフィルタリングするために、幅広い拡散ベースのインバースソルバに追加することができる。我々は、DiffStateGradが、測定ガイダンスのステップサイズとノイズの選択という点で、拡散モデルのロバスト性を改善し、同時にワーストケースの性能を改善することを強調する。最後に、DiffStateGradが線形および非線形の画像復元逆問題において最先端技術を改善することを実証する。

要約(オリジナル)

Recent advancements in diffusion models have been effective in learning data priors for solving inverse problems. They leverage diffusion sampling steps for inducing a data prior while using a measurement guidance gradient at each step to impose data consistency. For general inverse problems, approximations are needed when an unconditionally trained diffusion model is used since the measurement likelihood is intractable, leading to inaccurate posterior sampling. In other words, due to their approximations, these methods fail to preserve the generation process on the data manifold defined by the diffusion prior, leading to artifacts in applications such as image restoration. To enhance the performance and robustness of diffusion models in solving inverse problems, we propose Diffusion State-Guided Projected Gradient (DiffStateGrad), which projects the measurement gradient onto a subspace that is a low-rank approximation of an intermediate state of the diffusion process. DiffStateGrad, as a module, can be added to a wide range of diffusion-based inverse solvers to improve the preservation of the diffusion process on the prior manifold and filter out artifact-inducing components. We highlight that DiffStateGrad improves the robustness of diffusion models in terms of the choice of measurement guidance step size and noise while improving the worst-case performance. Finally, we demonstrate that DiffStateGrad improves upon the state-of-the-art on linear and nonlinear image restoration inverse problems.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL