Bridging the Gap Between Saliency Prediction and Image Quality Assessment

要約

過去数年にわたって、ディープ ニューラル モデルは画質評価 (IQA) において大幅な進歩を遂げてきました。
ただし、ディープ ニューラル ネットワークの複雑な性質のため、その成功の根本的な理由は依然として不明です。
IQA は、人間の視覚システム (HVS) がどのように機能するかを説明し、その効率的な近似を作成することを目的としています。
一方、顕著性予測タスクは、視覚的に関心のある領域を決定することによって HVS をエミュレートすることを目的としています。
したがって、顕著性は人間の認識において重要な役割を果たしていると私たちは考えています。
この研究では、IQA タスクと顕著性予測タスクの関係を明らかにする実証研究を実施し、前者が後者の知識を組み込んでいることを実証します。
さらに、顕著性を意識した圧縮画像の新しい SACID データセットを導入し、古典的な IQA 手法とニューラルベースの IQA 手法の大規模比較を実施します。
すべての補足コードとデータは、出版時に利用可能になります。

要約(オリジナル)

Over the past few years, deep neural models have made considerable advances in image quality assessment (IQA). However, the underlying reasons for their success remain unclear, owing to the complex nature of deep neural networks. IQA aims to describe how the human visual system (HVS) works and to create its efficient approximations. On the other hand, Saliency Prediction task aims to emulate HVS via determining areas of visual interest. Thus, we believe that saliency plays a crucial role in human perception. In this work, we conduct an empirical study that reveals the relation between IQA and Saliency Prediction tasks, demonstrating that the former incorporates knowledge of the latter. Moreover, we introduce a novel SACID dataset of saliency-aware compressed images and conduct a large-scale comparison of classic and neural-based IQA methods. All supplementary code and data will be available at the time of publication.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google