Augmenting Perceptual Super-Resolution via Image Quality Predictors

要約

コンピュータービジョンにおける古典的な逆問題である超解像度（SR）は、本質的に不適切であり、入力ごとにもっともらしいソリューションの分布を誘導します。
ただし、望ましい結果は、単にこの分布の期待ではなく、ピクセルワイズエラーを最小限に抑えることで得られるぼやけた画像であり、むしろ最も高い画質を持つサンプルです。
知覚的な指標から敵対的な損失まで、さまざまな手法がこの目的に採用されています。
この作業では、SRコンテキストで強力な非参照画質評価（NR-IQA）モデルを利用する代替案を探ります。
ヒト由来のSRデータに関するNR-IQAメトリックの包括的な分析から始め、異なるメトリックの精度（人間のアライメント）と相補性の両方を特定します。
次に、NR-IQAモデルをSR学習に適用する2つの方法を調査します。（i）既存のマルチグラウンドトゥルースSRフレームワークに基づいてデータサンプリングを変更し、（ii）微分可能な品質スコアを直接最適化することにより。
私たちの結果は、より人間中心の知覚と耐性のトレードオフを示しており、非知覚ピクセルごとの歪みにあまり焦点を当てており、代わりに知覚的な忠実度と人間が調整したNR-IQA測定のバランスを改善します。

要約(オリジナル)

Super-resolution (SR), a classical inverse problem in computer vision, is inherently ill-posed, inducing a distribution of plausible solutions for every input. However, the desired result is not simply the expectation of this distribution, which is the blurry image obtained by minimizing pixelwise error, but rather the sample with the highest image quality. A variety of techniques, from perceptual metrics to adversarial losses, are employed to this end. In this work, we explore an alternative: utilizing powerful non-reference image quality assessment (NR-IQA) models in the SR context. We begin with a comprehensive analysis of NR-IQA metrics on human-derived SR data, identifying both the accuracy (human alignment) and complementarity of different metrics. Then, we explore two methods of applying NR-IQA models to SR learning: (i) altering data sampling, by building on an existing multi-ground-truth SR framework, and (ii) directly optimizing a differentiable quality score. Our results demonstrate a more human-centric perception-distortion tradeoff, focusing less on non-perceptual pixel-wise distortion, instead improving the balance between perceptual fidelity and human-tuned NR-IQA measures.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google