Undertrained Image Reconstruction for Realistic Degradation in Blind Image Super-Resolution

要約

ほとんどの超解像度（SR）モデルは、実際の低解像度（LR）画像と格闘しています。
合成データセットの分解特性は、実際のLR画像の劣化特性と異なるため、この問題が発生します。
SRモデルは、ダウンサンプリングによって生成された高解像度（HR）とLR画像のペアでトレーニングされているため、単純な劣化のために最適化されています。
ただし、実際のLR画像には、イメージングプロセスやJPEG圧縮などの要因によって引き起こされる複雑な分解が含まれています。
これらの分解特性の違いにより、ほとんどのSRモデルは、実際のLR画像ではあまり機能しません。
この調査では、訓練されていない画像再構成モデ​​ルを使用したデータセット生成方法を提案しています。
これらのモデルには、入力画像からの多様な劣化を伴う低品質の画像を再構築する特性があります。
このプロパティを活用することにより、この研究では、HR画像から多様な劣化を伴うLR画像を生成して、データセットを構築します。
生成されたデータセットでの事前訓練を受けたSRモデルを微調整すると、ノイズの除去とぼやけの減少が改善され、実際のLR画像のパフォーマンスが向上します。
さらに、データセットの分析により、分解の多様性がパフォーマンスの改善に寄与しているのに対し、HRとLR画像の色の違いはパフォーマンスを低下させる可能性があることが明らかになります。
11ページ（11の図と2つのテーブル）

要約(オリジナル)

Most super-resolution (SR) models struggle with real-world low-resolution (LR) images. This issue arises because the degradation characteristics in the synthetic datasets differ from those in real-world LR images. Since SR models are trained on pairs of high-resolution (HR) and LR images generated by downsampling, they are optimized for simple degradation. However, real-world LR images contain complex degradation caused by factors such as the imaging process and JPEG compression. Due to these differences in degradation characteristics, most SR models perform poorly on real-world LR images. This study proposes a dataset generation method using undertrained image reconstruction models. These models have the property of reconstructing low-quality images with diverse degradation from input images. By leveraging this property, this study generates LR images with diverse degradation from HR images to construct the datasets. Fine-tuning pre-trained SR models on our generated datasets improves noise removal and blur reduction, enhancing performance on real-world LR images. Furthermore, an analysis of the datasets reveals that degradation diversity contributes to performance improvements, whereas color differences between HR and LR images may degrade performance. 11 pages, (11 figures and 2 tables)

arxiv情報

提供元, 利用サービス

arxiv.jp, Google