A No-Reference Deep Learning Quality Assessment Method for Super-resolution Images Based on Frequency Maps

要約

高解像度画像を必要とするアプリケーションをサポートするために、様々な単一画像超解像（SISR）アルゴリズムが開発されています。しかし、SISRは逆問題であり、再構成された画像にテクスチャシフトやぼかしなどのアーチファクトをもたらす可能性があるため、超解像画像（SRI）の品質を評価する必要がある。しかし、既存の画質評価手法の多くは合成歪み画像を対象に開発されており、SRIの歪みはより多様で複雑であるため、SRIに対して有効でない可能性があることに留意する必要がある。そこで、本論文では、SISRアルゴリズムが引き起こすアーチファクトは周波数情報にかなり敏感であることから、周波数マップに基づく無参照の深層学習型画質評価手法を提案する。具体的には、まず、Sobel演算子と区分的平滑画像近似を用いて、SRIの高周波マップ（HM）と低周波マップ（LM）を得る。次に、2ストリームネットワークを用いて、両周波数マップの品質を考慮した特徴量を抽出する。最後に、完全連結層を用い、特徴量を単一の品質値に回帰する。実験の結果、本手法は3つの超解像画像品質評価（SRQA）データベースにおいて、比較した全てのIQAモデルより優れていることが示された。

要約(オリジナル)

To support the application scenarios where high-resolution (HR) images are urgently needed, various single image super-resolution (SISR) algorithms are developed. However, SISR is an ill-posed inverse problem, which may bring artifacts like texture shift, blur, etc. to the reconstructed images, thus it is necessary to evaluate the quality of super-resolution images (SRIs). Note that most existing image quality assessment (IQA) methods were developed for synthetically distorted images, which may not work for SRIs since their distortions are more diverse and complicated. Therefore, in this paper, we propose a no-reference deep-learning image quality assessment method based on frequency maps because the artifacts caused by SISR algorithms are quite sensitive to frequency information. Specifically, we first obtain the high-frequency map (HM) and low-frequency map (LM) of SRI by using Sobel operator and piecewise smooth image approximation. Then, a two-stream network is employed to extract the quality-aware features of both frequency maps. Finally, the features are regressed into a single quality value using fully connected layers. The experimental results show that our method outperforms all compared IQA models on the selected three super-resolution quality assessment (SRQA) databases.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL