Fast Samplers for Inverse Problems in Iterative Refinement Models

要約

近年、無条件拡散モデルやフローマッチングモデルに対する高速サンプラーの構築が注目されている。しかし、超解像、インペインティング、デブラーリングなどの逆問題を解くための既存の手法は、高品質な結果を得るために数百から数千の反復ステップを必要とする。我々は、逆問題のための効率的なサンプラーを構築するためのプラグアンドプレイフレームワークを提案する。本論文では、条件付き共役積分器を提案する。この積分器は、逆問題の特定の形式を利用し、それぞれの条件付き拡散／フローダイナミクスを、サンプリングにより従順な空間に投影する。本手法は、拡散／フローモデルを用いた逆問題を解くための一般的な事後近似法を補完するものである。提案手法の性能を、拡散モデルとフローマッチングモデルを用いた、複数のデータセットにわたる様々な線形画像復元タスクで評価する。特に、ImageNetデータセットにおける4倍超解像のような困難な逆問題において、本手法はわずか5ステップの条件付きサンプリングで高品質なサンプルを生成することができ、20〜1000ステップを必要とする競合するベースラインを凌駕する。我々のコードは https://github.com/mandt-lab/c-pigdm で公開される予定である。

要約(オリジナル)

Constructing fast samplers for unconditional diffusion and flow-matching models has received much attention recently; however, existing methods for solving inverse problems, such as super-resolution, inpainting, or deblurring, still require hundreds to thousands of iterative steps to obtain high-quality results. We propose a plug-and-play framework for constructing efficient samplers for inverse problems, requiring only pre-trained diffusion or flow-matching models. We present Conditional Conjugate Integrators, which leverage the specific form of the inverse problem to project the respective conditional diffusion/flow dynamics into a more amenable space for sampling. Our method complements popular posterior approximation methods for solving inverse problems using diffusion/flow models. We evaluate the proposed method’s performance on various linear image restoration tasks across multiple datasets, employing diffusion and flow-matching models. Notably, on challenging inverse problems like 4x super-resolution on the ImageNet dataset, our method can generate high-quality samples in as few as 5 conditional sampling steps and outperforms competing baselines requiring 20-1000 steps. Our code will be publicly available at https://github.com/mandt-lab/c-pigdm

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL