Efficient Conditional Diffusion Model with Probability Flow Sampling for Image Super-resolution

要約

画像の超解像度は、1 つの低解像度画像に対して複数の有効な高解像度画像が存在するため、基本的に不適切な問題です。
拡散確率モデルに基づく超解像度手法は、低解像度画像を条件とした高解像度画像の分布を学習することで不良姿勢の性質に対処でき、PSNR 指向の手法における画像がぼやける問題を回避できます。
しかし、既存の拡散ベースの超解像度手法は反復サンプリングを使用するため時間がかかり、生成される画像の品質と一貫性は色ずれなどの問題により理想的とは言えません。
この論文では、画像超解像度のための確率フロー サンプリング (ECDP) を使用した効率的な条件付き拡散モデルを提案します。
時間消費を削減するために、画像超解像度のための連続時間条件付き拡散モデルを設計します。これにより、効率的な生成のための確率フロー サンプリングの使用が可能になります。
さらに、生成された画像の一貫性を向上させるために、さまざまなノイズ スケールのデータ予測パラメータ化とノイズ予測パラメータ化の間を補間するデノイザー ネットワークのハイブリッド パラメータ化を提案します。
さらに、拡散モデルのスコアマッチング損失を補完する画質損失を設計し、超解像の一貫性と品質をさらに向上させます。
DIV2K、ImageNet、および CelebA に関する広範な実験により、私たちの方法は、より少ない時間消費でありながら、既存の拡散ベースの画像超解像度方法よりも高い超解像度品質を達成できることが実証されています。
私たちのコードは https://github.com/Yuan-Yutao/ECDP で入手できます。

要約(オリジナル)

Image super-resolution is a fundamentally ill-posed problem because multiple valid high-resolution images exist for one low-resolution image. Super-resolution methods based on diffusion probabilistic models can deal with the ill-posed nature by learning the distribution of high-resolution images conditioned on low-resolution images, avoiding the problem of blurry images in PSNR-oriented methods. However, existing diffusion-based super-resolution methods have high time consumption with the use of iterative sampling, while the quality and consistency of generated images are less than ideal due to problems like color shifting. In this paper, we propose Efficient Conditional Diffusion Model with Probability Flow Sampling (ECDP) for image super-resolution. To reduce the time consumption, we design a continuous-time conditional diffusion model for image super-resolution, which enables the use of probability flow sampling for efficient generation. Additionally, to improve the consistency of generated images, we propose a hybrid parametrization for the denoiser network, which interpolates between the data-predicting parametrization and the noise-predicting parametrization for different noise scales. Moreover, we design an image quality loss as a complement to the score matching loss of diffusion models, further improving the consistency and quality of super-resolution. Extensive experiments on DIV2K, ImageNet, and CelebA demonstrate that our method achieves higher super-resolution quality than existing diffusion-based image super-resolution methods while having lower time consumption. Our code is available at https://github.com/Yuan-Yutao/ECDP.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google