Feature Denoising Diffusion Model for Blind Image Quality Assessment

要約

ブラインド画質評価 (BIQA) は、参照ベンチマークを使用せずに、人間の知覚に合わせて画質を評価することを目的としています。
現在、ディープ ラーニング BIQA メソッドは通常、転移学習の高レベル タスクの機能の使用に依存しています。
ただし、BIQA とこれらの高レベルのタスクの間には固有の違いがあるため、品質を意識した機能にノイズが必然的に入ります。
このペーパーでは、BIQA における特徴量ノイズ除去の拡散モデル、つまり品質を意識した特徴量からノイズを除去することを目的とした IQA 用知覚特徴拡散 (PFD-IQA) の探索に向けた最初の一歩を踏み出します。
具体的には、(i) 拡散モデルの知覚テキスト条件を集約するために使用される画像内の潜在的な低レベルの特徴を発見するための 2 つの補助タスクを確立するための知覚事前発見および集約モジュールを提案します。
(ii) 我々は、ノイズの多い特徴を事前に定義されたノイズ除去軌跡と照合し、テキスト条件に基づいて正確な特徴ノイズ除去を実行する、知覚的な事前ベースの特徴改善戦略を提案します。
8 つの標準 BIQA データセットに対する広範な実験により、最先端の BIQA 手法よりも優れたパフォーマンスが実証され、つまり、PLCC 値 0.935 (対 KADID の 0.905) および 0.922 (対 LIVEC の 0.894) を達成しました。

要約(オリジナル)

Blind Image Quality Assessment (BIQA) aims to evaluate image quality in line with human perception, without reference benchmarks. Currently, deep learning BIQA methods typically depend on using features from high-level tasks for transfer learning. However, the inherent differences between BIQA and these high-level tasks inevitably introduce noise into the quality-aware features. In this paper, we take an initial step towards exploring the diffusion model for feature denoising in BIQA, namely Perceptual Feature Diffusion for IQA (PFD-IQA), which aims to remove noise from quality-aware features. Specifically, (i) We propose a {Perceptual Prior Discovery and Aggregation module to establish two auxiliary tasks to discover potential low-level features in images that are used to aggregate perceptual text conditions for the diffusion model. (ii) We propose a Perceptual Prior-based Feature Refinement strategy, which matches noisy features to predefined denoising trajectories and then performs exact feature denoising based on text conditions. Extensive experiments on eight standard BIQA datasets demonstrate the superior performance to the state-of-the-art BIQA methods, i.e., achieving the PLCC values of 0.935 ( vs. 0.905 in KADID) and 0.922 ( vs. 0.894 in LIVEC).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google