A Variational Perspective on Solving Inverse Problems with Diffusion Models

要約

【タイトル】拡散モデルを用いた逆問題の解決における変分的視点

【要約】
– 拡散モデルは視覚分野において基盤モデルとして重要な柱の1つとなっている。
– その中でも、異なる逆問題を単一の拡散事前分布を用いて再学習することなく解決することが、その中でも重要なアプリケーションとなっている。
– 逆問題のほとんどは、測定値（例えば、マスクされた画像）が与えられた場合に、データ（例えば、完全な画像）の事後分布を推定することとして定式化される。しかし、拡散モデルの非線形かつ反復的な性質のため、これは困難である。
– この問題に対処するため、真の事後分布を近似するようにデザインされた変分的アプローチを提案する。
– 同時に、時間ステップごとのノイズ除去器が画像に異なる構造的制約を同時に課すRED-Diffという正則化手法を提案する。
– 異なる時間ステップからのノイズ除去器の貢献度を評価するために、信号対雑音比（SNR）に基づく重み付けメカニズムを提案する。
– このアプローチは、サンプリングを確率的最適化として定式化することを可能にする新しい変分的視点を提供し、軽量な反復子を使ったオフシェルフのソルバーの適用を可能にする。
– インペインティングや超解像などの画像復元タスクにおいて、われわれの手法は既存のサンプリングベースの拡散モデルと比較して優れた性能を発揮することを実験で示す。

要約(オリジナル)

Diffusion models have emerged as a key pillar of foundation models in visual domains. One of their critical applications is to universally solve different downstream inverse tasks via a single diffusion prior without re-training for each task. Most inverse tasks can be formulated as inferring a posterior distribution over data (e.g., a full image) given a measurement (e.g., a masked image). This is however challenging in diffusion models since the nonlinear and iterative nature of the diffusion process renders the posterior intractable. To cope with this challenge, we propose a variational approach that by design seeks to approximate the true posterior distribution. We show that our approach naturally leads to regularization by denoising diffusion process (RED-Diff) where denoisers at different timesteps concurrently impose different structural constraints over the image. To gauge the contribution of denoisers from different timesteps, we propose a weighting mechanism based on signal-to-noise-ratio (SNR). Our approach provides a new variational perspective for solving inverse problems with diffusion models, allowing us to formulate sampling as stochastic optimization, where one can simply apply off-the-shelf solvers with lightweight iterates. Our experiments for image restoration tasks such as inpainting and superresolution demonstrate the strengths of our method compared with state-of-the-art sampling-based diffusion models.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI