CoSIGN: Few-Step Guidance of ConSIstency Model to Solve General INverse Problems

要約

拡散モデルは、一般逆問題を解決するための強力な事前確率として実証されています。
既存の拡散モデルベースの逆問題ソルバー (DIS) のほとんどは、プラグ アンド プレイ アプローチを採用して、投影または勾配のいずれかを使用してサンプリング軌道をガイドします。
これらの方法は効果的ではありますが、一般に数百のサンプリング ステップが必要となり、推論時間と再構成の品質の間にジレンマが生じます。
この作業では、高い再構築品質を維持しながら、推論ステップの境界を 1 ～ 2 個の NFE に押し上げることを試みました。
これを達成するために、事前に訓練された拡散蒸留モデル、つまり整合性モデルを事前データとして利用することを提案します。
数ステップのガイダンスを達成するための鍵は、整合性モデルのサンプリング プロセス中に 2 種類の制約 (ControlNet によるソフト測定制約と、最適化によるハード測定制約) を強制することです。
提案されたフレームワークは、単一ステップの再構成と複数ステップのリファインメントの両方をサポートし、追加の計算コストを犠牲にして画質を犠牲にする方法をさらに提供します。
同等の NFE の中で、私たちの方法は拡散ベースの逆問題解決における新しい最先端を達成し、実世界のアプリケーションに従来ベースの逆問題ソルバーを採用する大きな可能性を示しています。
コードは https://github.com/BioMed-AI-Lab-U-Michgan/cosign から入手できます。

要約(オリジナル)

Diffusion models have been demonstrated as strong priors for solving general inverse problems. Most existing Diffusion model-based Inverse Problem Solvers (DIS) employ a plug-and-play approach to guide the sampling trajectory with either projections or gradients. Though effective, these methods generally necessitate hundreds of sampling steps, posing a dilemma between inference time and reconstruction quality. In this work, we try to push the boundary of inference steps to 1-2 NFEs while still maintaining high reconstruction quality. To achieve this, we propose to leverage a pretrained distillation of diffusion model, namely consistency model, as the data prior. The key to achieving few-step guidance is to enforce two types of constraints during the sampling process of the consistency model: soft measurement constraint with ControlNet and hard measurement constraint via optimization. Supporting both single-step reconstruction and multistep refinement, the proposed framework further provides a way to trade image quality with additional computational cost. Within comparable NFEs, our method achieves new state-of-the-art in diffusion-based inverse problem solving, showcasing the significant potential of employing prior-based inverse problem solvers for real-world applications. Code is available at: https://github.com/BioMed-AI-Lab-U-Michgan/cosign.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google