Decoupled Data Consistency with Diffusion Purification for Image Restoration

要約

拡散モデルは最近、深層生成事前分布の強力なクラスとして注目を集めており、データ分布をモデル化する優れた能力により、幅広い画像復元タスクに優れています。
画像復元の問題を解決するために、既存の技術の多くは、追加の尤度勾配ステップを拡散モデルの逆サンプリング プロセスに組み込むことでデータの一貫性を実現しています。
ただし、勾配ステップを追加すると、大きな計算オーバーヘッドが発生し、推論時間が増加するため、現実世界の実用的なアプリケーションには課題が生じます。
また、データ整合性ステップの数が逆サンプリング ステップの数によって制限されるため、加速拡散モデル サンプラーを使用する場合にはさらなる困難が生じます。
この研究では、データ整合性ステップから逆のプロセスを切り離すことでこれらの問題に対処する、新しい拡散ベースの画像復元ソルバーを提案します。
私たちの方法では、データの一貫性を維持するための再構成フェーズと、拡散精製によって以前のデータを強制する精製フェーズを交互に実行します。
私たちのアプローチは多用途性を示しており、潜在空間での効率的な問題解決に高度に適応できます。
さらに、一貫性モデルの統合により、多数のサンプリング ステップの必要性が軽減されます。
私たちのアプローチの有効性は、画像のノイズ除去、ブレ除去、修復、超解像度など、さまざまな画像復元タスクにわたる包括的な実験を通じて検証されています。

要約(オリジナル)

Diffusion models have recently gained traction as a powerful class of deep generative priors, excelling in a wide range of image restoration tasks due to their exceptional ability to model data distributions. To solve image restoration problems, many existing techniques achieve data consistency by incorporating additional likelihood gradient steps into the reverse sampling process of diffusion models. However, the additional gradient steps pose a challenge for real-world practical applications as they incur a large computational overhead, thereby increasing inference time. They also present additional difficulties when using accelerated diffusion model samplers, as the number of data consistency steps is limited by the number of reverse sampling steps. In this work, we propose a novel diffusion-based image restoration solver that addresses these issues by decoupling the reverse process from the data consistency steps. Our method involves alternating between a reconstruction phase to maintain data consistency and a refinement phase that enforces the prior via diffusion purification. Our approach demonstrates versatility, making it highly adaptable for efficient problem-solving in latent space. Additionally, it reduces the necessity for numerous sampling steps through the integration of consistency models. The efficacy of our approach is validated through comprehensive experiments across various image restoration tasks, including image denoising, deblurring, inpainting, and super-resolution.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google