Perception- and Fidelity-aware Reduced-Reference Super-Resolution Image Quality Assessment

要約

画像超解像度 (SR) アルゴリズムの出現により、生成された SR 画像の品質をどのように評価するかが緊急の課題となっています。
フルリファレンス手法は SR 画質評価 (SR-IQA) では良好に機能しますが、高解像度 (HR) 画像に依存しているため、実際の適用性は制限されます。
低解像度 (LR) 画像やスケール係数など、SR-IQA に利用可能な再構成情報を可能な限り活用することは、参照用の HR を使用せずに SR-IQA の評価パフォーマンスを向上させる有望な方法です。
このレターでは、LR 画像とスケール係数を考慮して SR 画像の知覚品質と再構成忠実度を評価することを試みます。
具体的には、新しいデュアルブランチ削減参照 SR-IQA ネットワーク、つまり知覚および忠実性を認識した SR-IQA (PFIQA) を提案します。
知覚認識ブランチは、ビジョン トランスフォーマー (ViT) のグローバル モデリングと ResNet のローカル関係の利点を活用し、包括的な視覚知覚を可能にするスケール係数を組み込むことにより、SR 画像の知覚品質を評価します。
一方、忠実度を意識したブランチは、LR 画像と SR 画像の間の再構成の忠実度を視覚を通じて評価します。
2 つのブランチの組み合わせは人間の視覚システムとほぼ一致しており、包括的な SR 画像評価が可能になります。
実験結果は、当社の PFIQA が、広く使用されている 3 つの SR-IQA ベンチマーク全体で現在の最先端モデルを上回るパフォーマンスを示していることを示しています。
特に、PFIQA は現実世界の SR 画像の品質の評価に優れています。

要約(オリジナル)

With the advent of image super-resolution (SR) algorithms, how to evaluate the quality of generated SR images has become an urgent task. Although full-reference methods perform well in SR image quality assessment (SR-IQA), their reliance on high-resolution (HR) images limits their practical applicability. Leveraging available reconstruction information as much as possible for SR-IQA, such as low-resolution (LR) images and the scale factors, is a promising way to enhance assessment performance for SR-IQA without HR for reference. In this letter, we attempt to evaluate the perceptual quality and reconstruction fidelity of SR images considering LR images and scale factors. Specifically, we propose a novel dual-branch reduced-reference SR-IQA network, \ie, Perception- and Fidelity-aware SR-IQA (PFIQA). The perception-aware branch evaluates the perceptual quality of SR images by leveraging the merits of global modeling of Vision Transformer (ViT) and local relation of ResNet, and incorporating the scale factor to enable comprehensive visual perception. Meanwhile, the fidelity-aware branch assesses the reconstruction fidelity between LR and SR images through their visual perception. The combination of the two branches substantially aligns with the human visual system, enabling a comprehensive SR image evaluation. Experimental results indicate that our PFIQA outperforms current state-of-the-art models across three widely-used SR-IQA benchmarks. Notably, PFIQA excels in assessing the quality of real-world SR images.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google