WaveDM: Wavelet-Based Diffusion Models for Image Restoration

要約

多くの画像復元タスクに対する最新の拡散ベースの手法は、従来のモデルよりも優れたパフォーマンスを発揮しますが、長時間にわたる推論の問題に直面します。
これに取り組むために、この論文ではウェーブレットベースの拡散モデル (WaveDM) を提案します。
WaveDM は、ウェーブレット変換後の劣化画像のウェーブレット スペクトルを条件として、ウェーブレット領域内のきれいな画像の分布を学習します。これにより、空間領域でのモデリングよりもサンプリングの各ステップで時間を節約できます。
復元パフォーマンスを保証するために、低周波スペクトルと高周波スペクトルが別個のモジュールを使用して学習される独自のトレーニング戦略が提案されています。
さらに、効率的な条件付きサンプリング (ECS) 戦略が実験から開発され、合計サンプリング ステップ数が約 5 に削減されます。画像の雨滴除去、レイン ステーキ除去、かすみ除去、焦点ぼけ除去、デモアールを含む 12 のベンチマーク データセットの評価
Eing とノイズ除去は、WaveDM が従来の 1 パス手法に匹敵する効率で最先端のパフォーマンスを実現し、バニラ拡散モデルを使用した既存の画像復元手法よりも 100$\times$ 以上高速であることを示しています。

要約(オリジナル)

Latest diffusion-based methods for many image restoration tasks outperform traditional models, but they encounter the long-time inference problem. To tackle it, this paper proposes a Wavelet-Based Diffusion Model (WaveDM). WaveDM learns the distribution of clean images in the wavelet domain conditioned on the wavelet spectrum of degraded images after wavelet transform, which is more time-saving in each step of sampling than modeling in the spatial domain. To ensure restoration performance, a unique training strategy is proposed where the low-frequency and high-frequency spectrums are learned using distinct modules. In addition, an Efficient Conditional Sampling (ECS) strategy is developed from experiments, which reduces the number of total sampling steps to around 5. Evaluations on twelve benchmark datasets including image raindrop removal, rain steaks removal, dehazing, defocus deblurring, demoir\’eing, and denoising demonstrate that WaveDM achieves state-of-the-art performance with the efficiency that is comparable to traditional one-pass methods and over 100$\times$ faster than existing image restoration methods using vanilla diffusion models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google