Enhancing image quality prediction with self-supervised visual masking

要約

フルリファレンス画質メトリクス (FR-IQM) は、人間の判断を正確に予測することを目的として、基準画像と歪んだ画像のペア間の視覚的な違いを測定することを目的としています。
しかし、PSNR や SSIM などの従来型の FR-IQM や、HDR-VDP、LPIPS、DISTS などの知覚的な FR-IQM も含め、既存の FR-IQM は、人間の知覚の複雑さやニュアンスを捉えるにはまだ不十分です。
この研究では、新しい IQM モデルを考案するのではなく、既存の FR-IQM 手法の知覚品質を向上させることを目指しています。
これは、局所的な画像内容に応じて歪みに対する感度が変化する人間の視覚システムの重要な特性である視覚マスキングを考慮することによって実現されます。
具体的には、特定の FR-IQM メトリクスに対して、可視性に基づいて視覚的エラーにペナルティを与える方法で参照画像と歪んだ画像を調整する視覚的マスキング モデルを予測することを提案します。
グラウンド トゥルースのビジュアル マスクは入手が難しいため、FR-IQM データセットから収集された平均意見スコア (MOS) のみに基づいて、自己教師ありの方法でマスクを導出する方法を示します。
私たちのアプローチにより、視覚的にも定量的にも人間の予測とより一致する強化された FR-IQM メトリクスが得られます。

要約(オリジナル)

Full-reference image quality metrics (FR-IQMs) aim to measure the visual differences between a pair of reference and distorted images, with the goal of accurately predicting human judgments. However, existing FR-IQMs, including traditional ones like PSNR and SSIM and even perceptual ones such as HDR-VDP, LPIPS, and DISTS, still fall short in capturing the complexities and nuances of human perception. In this work, rather than devising a novel IQM model, we seek to improve upon the perceptual quality of existing FR-IQM methods. We achieve this by considering visual masking, an important characteristic of the human visual system that changes its sensitivity to distortions as a function of local image content. Specifically, for a given FR-IQM metric, we propose to predict a visual masking model that modulates reference and distorted images in a way that penalizes the visual errors based on their visibility. Since the ground truth visual masks are difficult to obtain, we demonstrate how they can be derived in a self-supervised manner solely based on mean opinion scores (MOS) collected from an FR-IQM dataset. Our approach results in enhanced FR-IQM metrics that are more in line with human prediction both visually and quantitatively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google