Deep Shape-Texture Statistics for Completely Blind Image Quality Evaluation

要約

Opinion-Unaware Blind Image Quality Assessment (OU-BIQA) モデルは、参照画像や主観的な品質スコアでトレーニングせずに画質を予測することを目的としています。
その中で、画像の統計的比較は古典的なパラダイムですが、パフォーマンスは視覚的な記述子の表現能力によって制限されます。
最近の研究では、視覚的な記述子としての深い特徴により IQA が進歩しましたが、それらはテクスチャに非常に偏り、形状に偏りが無いことが判明しています。
これに基づいて、画像の形状とテクスチャの手がかりが歪みに対して異なる反応を示し、どちらか一方が欠けていると不完全な画像表現が生じることがわかりました。
したがって、画像の包括的な統計的記述を定式化するために、ディープ ニューラル ネットワーク (DNN) によって生成された形状バイアスとテクスチャバイアスの深い特徴を同時に利用します。
より具体的には、形状とテクスチャの情報を結合する形状-テクスチャ アダプティブ フュージョン (STAF) モジュールを設計し、それに基づいて品質関連の画像統計を定式化します。
知覚品質は、内部と外部の形状テクスチャ統計 (DSTS) の間のバリアント マハラノビス距離によって定量化され、内部と外部の統計はそれぞれ、歪んだ画像と自然画像の品質の指紋を表します。
提案された DSTS は、ディープ ドメインの異なるデータ スケール間の形状とテクスチャの統計的関係を繊細に利用し、人工的および本物の歪みのある画像に対して最先端 (SOTA) 品質の予測パフォーマンスを実現します。

要約(オリジナル)

Opinion-Unaware Blind Image Quality Assessment (OU-BIQA) models aim to predict image quality without training on reference images and subjective quality scores. Thereinto, image statistical comparison is a classic paradigm, while the performance is limited by the representation ability of visual descriptors. Deep features as visual descriptors have advanced IQA in recent research, but they are discovered to be highly texture-biased and lack of shape-bias. On this basis, we find out that image shape and texture cues respond differently towards distortions, and the absence of either one results in an incomplete image representation. Therefore, to formulate a well-round statistical description for images, we utilize the shapebiased and texture-biased deep features produced by Deep Neural Networks (DNNs) simultaneously. More specifically, we design a Shape-Texture Adaptive Fusion (STAF) module to merge shape and texture information, based on which we formulate qualityrelevant image statistics. The perceptual quality is quantified by the variant Mahalanobis Distance between the inner and outer Shape-Texture Statistics (DSTS), wherein the inner and outer statistics respectively describe the quality fingerprints of the distorted image and natural images. The proposed DSTS delicately utilizes shape-texture statistical relations between different data scales in the deep domain, and achieves state-of-the-art (SOTA) quality prediction performance on images with artificial and authentic distortions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google