DDR: Exploiting Deep Degradation Response as Flexible Image Descriptor

要約

事前トレーニングされたネットワークによって抽出された画像の詳細な特徴には、豊富で有益な表現が含まれることが知られています。
この論文では、さまざまな劣化条件下で画像の深い特徴の変化を定量化する方法である Deep Degradation Response (DDR) を紹介します。
具体的には、私たちのアプローチは柔軟で適応的な劣化を促進し、テキスト駆動のプロンプトを通じて画像劣化の制御された合成を可能にします。
広範な評価により、画像記述子としての DDR の多用途性が実証され、複雑さ、カラフルさ、鮮明さ、全体的な品質などの主要な画像属性との強い相関関係が観察されています。
さらに、さまざまなアプリケーションにわたる DDR の有効性を実証します。
これはブラインド画質評価指標として優れており、複数のデータセットにわたる既存の方法論を上回ります。
さらに、DDR は画像復元タスクにおける効果的な教師なし学習目標として機能し、画像のブレ除去と単一画像の超解像において顕著な進歩をもたらします。
私たちのコードが利用可能になります。

要約(オリジナル)

Image deep features extracted by pre-trained networks are known to contain rich and informative representations. In this paper, we present Deep Degradation Response (DDR), a method to quantify changes in image deep features under varying degradation conditions. Specifically, our approach facilitates flexible and adaptive degradation, enabling the controlled synthesis of image degradation through text-driven prompts. Extensive evaluations demonstrate the versatility of DDR as an image descriptor, with strong correlations observed with key image attributes such as complexity, colorfulness, sharpness, and overall quality. Moreover, we demonstrate the efficacy of DDR across a spectrum of applications. It excels as a blind image quality assessment metric, outperforming existing methodologies across multiple datasets. Additionally, DDR serves as an effective unsupervised learning objective in image restoration tasks, yielding notable advancements in image deblurring and single-image super-resolution. Our code will be made available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google