From Distance to Dependency: A Paradigm Shift of Full-reference Image Quality Assessment

要約

深層学習に基づく完全参照画像品質評価（FR-IQA）モデルは、通常、参照画像と歪んだ画像の間の特徴距離に依存している。しかし、これらのモデルの根底にある、深い特徴領域の距離が品質劣化を定量化できるという仮定は、特に画像がニューラルネットワークによって人工的に生成される場合、不変のテクスチャ知覚と科学的に一致しない。本論文では、学習した特徴量を用いて品質を推測することに根本的な転換をもたらし、Deep Image Dependency (DID) に基づくFR-IQAモデルを提案する。特徴量依存性は、参照画像とテスト画像からの特徴量の結合分布とその周辺分布によって特徴づけられるブラウン距離共分散を用いて、深層学習した特徴量の比較を高次元で容易にするものである。これにより、特徴空間における数値誤差の計算をはるかに超えた、非線形変換に対する特徴依存性の定量化が可能となる。画質予測、テクスチャ画像の類似性、幾何学的不変性についての実験により、本提案尺度の優れた性能が検証された。

要約(オリジナル)

Deep learning-based full-reference image quality assessment (FR-IQA) models typically rely on the feature distance between the reference and distorted images. However, the underlying assumption of these models that the distance in the deep feature domain could quantify the quality degradation does not scientifically align with the invariant texture perception, especially when the images are generated artificially by neural networks. In this paper, we bring a radical shift in inferring the quality with learned features and propose the Deep Image Dependency (DID) based FR-IQA model. The feature dependency facilitates the comparisons of deep learning features in a high-order manner with Brownian distance covariance, which is characterized by the joint distribution of the features from reference and test images, as well as their marginal distributions. This enables the quantification of the feature dependency against nonlinear transformation, which is far beyond the computation of the numerical errors in the feature space. Experiments on image quality prediction, texture image similarity, and geometric invariance validate the superior performance of our proposed measure.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL