DeepDC: Deep Distance Correlation as a Perceptual Image Quality Evaluator

要約

ImageNet の事前トレーニング済みディープ ニューラル ネットワーク (DNN) は、効果的な画質評価 (IQA) モデルを構築する際に顕著な転送性を示します。
このような注目すべき副産物は、以前の研究で新たな特性として特定されることがよくありました。
この研究では、そのような機能は、テクスチャの特徴を使用して画像を分類するという、固有のテクスチャに敏感な特性によるものであると考えています。
私たちはこの特性を最大限に活用して、事前トレーニングされた DNN 特徴のみに基づいた新しい完全参照 IQA (FR-IQA) モデルを開発しました。
具体的には、深部特徴領域における参照画像と歪んだ画像の間の距離相関を計算します。これは、非常に有望であるものの、比較的研究が進んでいない統計です。
さらに、距離相関は、線形および非線形の両方のフィーチャ関係を定量化します。これは、フィーチャ空間で広く使用されている 1 次統計および 2 次統計をはるかに超えています。
5 つの標準 IQA データセット、1 つの知覚類似性データセット、2 つのテクスチャ類似性データセット、および 1 つの幾何学的変換データセットに対して、提案された品質モデルの優位性を実証するための包括的な実験を実施します。
さらに、モデルをニューラル スタイル転送 (NST) のスタイル損失関数として扱うことにより、提案されたモデルを最適化し、広範囲のテクスチャ パターンを生成します。
広範な実験により、提案されたテクスチャ合成および NST 手法が定量的および定性的に最良の結果を達成することが実証されました。
コードは https://github.com/h4nwei/DeepDC でリリースされます。

要約(オリジナル)

ImageNet pre-trained deep neural networks (DNNs) show notable transferability for building effective image quality assessment (IQA) models. Such a remarkable byproduct has often been identified as an emergent property in previous studies. In this work, we attribute such capability to the intrinsic texture-sensitive characteristic that classifies images using texture features. We fully exploit this characteristic to develop a novel full-reference IQA (FR-IQA) model based exclusively on pre-trained DNN features. Specifically, we compute the distance correlation, a highly promising yet relatively under-investigated statistic, between reference and distorted images in the deep feature domain. In addition, the distance correlation quantifies both linear and nonlinear feature relationships, which is far beyond the widely used first-order and second-order statistics in the feature space. We conduct comprehensive experiments to demonstrate the superiority of the proposed quality model on five standard IQA datasets, one perceptual similarity dataset, two texture similarity datasets, and one geometric transformation dataset. Moreover, we optimize the proposed model to generate a broad spectrum of texture patterns, by treating the model as the style loss function for neural style transfer (NST). Extensive experiments demonstrate that the proposed texture synthesis and NST methods achieve the best quantitative and qualitative results. We release our code at https://github.com/h4nwei/DeepDC.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google