KonX: Cross-Resolution Image Quality Assessment

要約

スケール不変性は、多くのコンピューター ビジョン サブフィールドで未解決の問題です。
たとえば、オブジェクト ラベルはスケール全体で一定のままである必要がありますが、モデルの予測は多くの場合発散します。
この問題は、グラウンド トゥルース ラベルがプレゼンテーション スケールによって変化するタスクではさらに難しくなります。
画質評価 (IQA) では、ダウンサンプリングは、主観的な研究で引き起こされる印象にプラスの影響を与える可能性のある、ぼかしや圧縮アーティファクトなどの障害を軽減します。
したがって、知覚的な画質を正確に予測するために、クロス解像度 IQA メソッドは、モデルの不備によって引き起こされる解像度依存のエラーと、グラウンド トゥルースにおける知覚的なラベル シフトを考慮する必要があります。
慎重に作成された斬新なクロス解像度 IQA データベースである KonX を介して、2 つの問題を別々に解きほぐし、調べるこの種の最初の研究を提示します。
1. KonX を通じて、プレゼンテーション解像度の変更によって引き起こされるラベル シフトの経験的証拠を提供します。
2. 客観的な IQA メソッドにはスケール バイアスがあり、予測性能が低下することを示します。
3. 最近のトランスフォーマーを含む、このタスクの以前の最先端の IQA モデルよりもパフォーマンスを向上させるマルチスケールおよびマルチカラム DNN アーキテクチャを提案します。
したがって、私たちは画質評価における新しい研究問題を提起し、対処します。

要約(オリジナル)

Scale-invariance is an open problem in many computer vision subfields. For example, object labels should remain constant across scales, yet model predictions diverge in many cases. This problem gets harder for tasks where the ground-truth labels change with the presentation scale. In image quality assessment (IQA), downsampling attenuates impairments, e.g., blurs or compression artifacts, which can positively affect the impression evoked in subjective studies. To accurately predict perceptual image quality, cross-resolution IQA methods must therefore account for resolution-dependent errors induced by model inadequacies as well as for the perceptual label shifts in the ground truth. We present the first study of its kind that disentangles and examines the two issues separately via KonX, a novel, carefully crafted cross-resolution IQA database. This paper contributes the following: 1. Through KonX, we provide empirical evidence of label shifts caused by changes in the presentation resolution. 2. We show that objective IQA methods have a scale bias, which reduces their predictive performance. 3. We propose a multi-scale and multi-column DNN architecture that improves performance over previous state-of-the-art IQA models for this task, including recent transformers. We thus both raise and address a novel research problem in image quality assessment.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google