A statistically constrained internal method for single image super-resolution

要約

最近、単一画像超解像（SR）のための深層学習ベースの手法が注目されている。特に、学習段階を単一画像上で行うことが可能であることが様々な論文で示されており、いわゆる内部アプローチと呼ばれる手法が生み出されている。SinGAN法もその一つで、画像パッチの分布を手元の画像で学習し、より細かいスケールで伝搬させるという貢献をしています。さて、最終的な画像について、何らかの統計的な先験的情報を想定できる場合がある。特に、雲やその他のテクスチャ画像のように、多くの自然現象はべき乗則のフーリエスペクトルを持つ画像を生成する。本研究では、SinGANの学習されたアップサンプリング手順に制約を与えることにより、このような先験的情報を内部超解像アプローチに統合する方法を示す。我々は、フーリエパワースペクトル、カラーヒストグラム、アップサンプリングスキームの一貫性に関連する、様々な種類の制約を検討する。我々は様々な実験により、これらの制約が実際に満たされること、また、提案するアプローチによりいくつかの知覚的品質尺度が改善されることを示す。

要約(オリジナル)

Deep learning based methods for single-image super-resolution (SR) have drawn a lot of attention lately. In particular, various papers have shown that the learning stage can be performed on a single image, resulting in the so-called internal approaches. The SinGAN method is one of these contributions, where the distribution of image patches is learnt on the image at hand and propagated at finer scales. Now, there are situations where some statistical a priori can be assumed for the final image. In particular, many natural phenomena yield images having power law Fourier spectrum, such as clouds and other texture images. In this work, we show how such a priori information can be integrated into an internal super-resolution approach, by constraining the learned up-sampling procedure of SinGAN. We consider various types of constraints, related to the Fourier power spectrum, the color histograms and the consistency of the upsampling scheme. We demonstrate on various experiments that these constraints are indeed satisfied, but also that some perceptual quality measures can be improved by the proposed approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL