Waving Goodbye to Low-Res: A Diffusion-Wavelet Approach for Image Super-Resolution

要約

タイトル：低解像度とさようなら：画像超解像度の拡散ウェーブレットアプローチ

要約：
– 本論文では、画像超解像度に対する新しいDiffusion-Wavelet（DiWa）アプローチを提案している。
– デノイジング拡散確率モデル（DDPM）と離散ウェーブレット変換（DWT）の強みを組み合わせている。
– DDPMモデルをDWTドメインで使用することで、ウェーブレットスペクトル上の高周波情報を効果的に生成し、高品質・詳細な再構成を画像空間で実現している。
– 定量的には、顔（8xスケーリング）および一般（4xスケーリング）の超解像度ベンチマークにおいて、PSNR、SSIM、LPIPSに関して、SR3とSRDiffという最新の拡散ベースのSISR方法に比べて優れている。
– 同時に、比較モデルよりも少ないパラメータで使用できるようになりました。例えば、SR3に比べて92Mのパラメータのみ使用するため、550Mに対する9.3Mの使用などである。
– さらに、一般的なSRデータセットにおいて、他の最先端の生成モデルよりも優れた結果を達成し、推論時間を短縮しています。
– 最後に、本手法はさまざまなアプリケーションに潜在的な可能性を持っていることが示されている。

要約(オリジナル)

This paper presents a novel Diffusion-Wavelet (DiWa) approach for Single-Image Super-Resolution (SISR). It leverages the strengths of Denoising Diffusion Probabilistic Models (DDPMs) and Discrete Wavelet Transformation (DWT). By enabling DDPMs to operate in the DWT domain, our DDPM models effectively hallucinate high-frequency information for super-resolved images on the wavelet spectrum, resulting in high-quality and detailed reconstructions in image space. Quantitatively, we outperform state-of-the-art diffusion-based SISR methods, namely SR3 and SRDiff, regarding PSNR, SSIM, and LPIPS on both face (8x scaling) and general (4x scaling) SR benchmarks. Meanwhile, using DWT enabled us to use fewer parameters than the compared models: 92M parameters instead of 550M compared to SR3 and 9.3M instead of 12M compared to SRDiff. Additionally, our method outperforms other state-of-the-art generative methods on classical general SR datasets while saving inference time. Finally, our work highlights its potential for various applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI