Textural-Perceptual Joint Learning for No-Reference Super-Resolution Image Quality Assessment

要約

画像の超解像 (SR) は、近年広く研究されています。
ただし、知覚品質の信頼できる正確な基準がないため、さまざまな SR メソッドのパフォーマンスを公正に推定することは困難です。
既存の指標は、低レベルのテクスチャ情報と高レベルの知覚情報の両方で多様な SR 変性状況を説明する能力を持たない視覚に敏感な領域を区別することなく、特定の種類の劣化に集中しています。
この論文では、SR 画像のテクスチャと知覚の劣化に焦点を当て、TPNet と呼ばれる品質評価のためにテクスチャと知覚の情報を共同で探索するデュアル ストリーム ネットワークを設計します。
重要な画像領域により多くの注意を払う人間の視覚システム (HVS) を模倣することにより、視覚に敏感な情報をより区別しやすくするために空間的注意を開発し、特徴の正規化 (F-Norm) を利用してネットワーク表現を向上させます。
実験結果は、TPNet が視覚品質スコアを他の方法よりも正確に予測し、人間の視点との一貫性が高いことを示しています。
ソース コードは、\url{http://github.com/yuqing-liu-dut/NRIQA_SR} で入手できます。

要約(オリジナル)

Image super-resolution (SR) has been widely investigated in recent years. However, it is challenging to fairly estimate the performance of various SR methods, as the lack of reliable and accurate criteria for the perceptual quality. Existing metrics concentrate on the specific kind of degradation without distinguishing the visual sensitive areas, which have no ability to describe the diverse SR degeneration situations in both low-level textural and high-level perceptual information. In this paper, we focus on the textural and perceptual degradation of SR images, and design a dual stream network to jointly explore the textural and perceptual information for quality assessment, dubbed TPNet. By mimicking the human vision system (HVS) that pays more attention to the significant image areas, we develop the spatial attention to make the visual sensitive information more distinguishable and utilize feature normalization (F-Norm) to boost the network representation. Experimental results show the TPNet predicts the visual quality score more accurate than other methods and demonstrates better consistency with the human’s perspective. The source code will be available at \url{http://github.com/yuqing-liu-dut/NRIQA_SR}

arxiv情報

提供元, 利用サービス

arxiv.jp, Google