Image Quality Assessment with Gradient Siamese Network

要約

本研究では、画質評価のためのGradient Siamese Network (GSN)を導入する。提案手法は、全参照画像品質評価(IQA)タスクにおいて、歪んだ画像と参照画像の間の勾配特徴を捕らえることに長けている。中央差分畳み込みを利用することで、画像対に隠された意味的特徴とディテールの違いの両方を得ることができる。さらに、空間的注意により、画像のディテールに関連する領域にネットワークが集中するように誘導する。ネットワークによって抽出された低レベル、中間レベル、高レベルの特徴に対して、特徴利用の効率を向上させるために、多レベルの融合方法を革新的に設計する。また、一般的な平均二乗誤差の監視に加え、バッチサンプル間の相対距離をさらに考慮し、KLダイバージェンス損失を画質評価タスクにうまく適用している。提案アルゴリズムGSNを一般に公開されている複数のデータセットで実験し、その優れた性能を証明した。我々のネットワークはNTIRE 2022 Perceptual Image Quality Assessment Challenge track 1 Full-Referenceで2位を獲得した。

要約(オリジナル)

In this work, we introduce Gradient Siamese Network (GSN) for image quality assessment. The proposed method is skilled in capturing the gradient features between distorted images and reference images in full-reference image quality assessment(IQA) task. We utilize Central Differential Convolution to obtain both semantic features and detail difference hidden in image pair. Furthermore, spatial attention guides the network to concentrate on regions related to image detail. For the low-level, mid-level and high-level features extracted by the network, we innovatively design a multi-level fusion method to improve the efficiency of feature utilization. In addition to the common mean square error supervision, we further consider the relative distance among batch samples and successfully apply KL divergence loss to the image quality assessment task. We experimented the proposed algorithm GSN on several publicly available datasets and proved its superior performance. Our network won the second place in NTIRE 2022 Perceptual Image Quality Assessment Challenge track 1 Full-Reference.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL