A Unified Conditional Framework for Diffusion-based Image Restoration

要約

拡散確率モデル (DPM) は最近、画像生成タスクにおいて顕著なパフォーマンスを示しており、非常に現実的な画像を生成できます。
画像復元タスクに DPM を採用する場合、重要な点は条件付き情報を統合して DPM が正確で自然な出力を生成するように導く方法にありますが、これは既存の作業ではほとんど見落とされてきました。
この論文では、画像復元のための拡散モデルに基づく統一された条件付きフレームワークを紹介します。
軽量の UNet を利用して初期ガイダンスを予測し、拡散モデルを利用してガイダンスの残差を学習します。
拡散モデルブロックの基本モジュールと統合モジュールを慎重に設計することで、ガイダンスやその他の補助的な条件情報を拡散モデルのすべてのブロックに統合し、空間適応型の生成条件付けを実現します。
高解像度の画像を処理するために、グリッドアーティファクトのない任意の解像度の画像を生成する、シンプルかつ効果的なステップ間パッチ分割戦略を提案します。
私たちは、極度の低光量ノイズ除去、ブレ除去、JPEG 復元という 3 つの困難なタスクで条件付きフレームワークを評価し、知覚品質の大幅な向上と復元タスクへの一般化を実証しました。

要約(オリジナル)

Diffusion Probabilistic Models (DPMs) have recently shown remarkable performance in image generation tasks, which are capable of generating highly realistic images. When adopting DPMs for image restoration tasks, the crucial aspect lies in how to integrate the conditional information to guide the DPMs to generate accurate and natural output, which has been largely overlooked in existing works. In this paper, we present a unified conditional framework based on diffusion models for image restoration. We leverage a lightweight UNet to predict initial guidance and the diffusion model to learn the residual of the guidance. By carefully designing the basic module and integration module for the diffusion model block, we integrate the guidance and other auxiliary conditional information into every block of the diffusion model to achieve spatially-adaptive generation conditioning. To handle high-resolution images, we propose a simple yet effective inter-step patch-splitting strategy to produce arbitrary-resolution images without grid artifacts. We evaluate our conditional framework on three challenging tasks: extreme low-light denoising, deblurring, and JPEG restoration, demonstrating its significant improvements in perceptual quality and the generalization to restoration tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google