Blind Surveillance Image Quality Assessment via Deep Neural Network Combined with the Visual Saliency

要約

インテリジェントビデオ監視システム（IVSS）は、監視画像（SI）の内容を自動的に解析し、人手による作業の負担を軽減することが可能です。しかし、SIは取得、圧縮、伝送の手順で品質劣化を起こすことがあり、IVSSがSIの内容を理解することは困難である。本論文では、まずSIの品質がIVSSの性能に決定的な影響を与えることを示すために実験例（顔検出タスク）を行い、次にSIのブラインド品質評価のための顕著性に基づくディープニューラルネットワークを提案し、IVSSが低品質のSIをろ過して検出・認識性能を向上させるのに役立つとする。具体的には、まずSIの顕著性マップを計算し、最も顕著な局所領域を選択する。顕著な領域は通常、マシンビジョンにとって豊富な意味情報を含んでおり、SI全体の品質に大きな影響を与えるためである。次に、畳み込みニューラルネットワーク（CNN）を採用し、画像全体と局所領域の品質を考慮した特徴を抽出し、それらを完全連結（FC）ネットワークを通して、全体および局所品質スコアにそれぞれマッピングする。最後に、全体品質スコアと局所品質スコアの加重和として、全体品質スコアを算出する。SI品質データベース(SIQD)を用いた実験の結果、提案手法は比較されたすべての最新鋭のBIQA手法を凌駕することが示された。

要約(オリジナル)

The intelligent video surveillance system (IVSS) can automatically analyze the content of the surveillance image (SI) and reduce the burden of the manual labour. However, the SIs may suffer quality degradations in the procedure of acquisition, compression, and transmission, which makes IVSS hard to understand the content of SIs. In this paper, we first conduct an example experiment (i.e. the face detection task) to demonstrate that the quality of the SIs has a crucial impact on the performance of the IVSS, and then propose a saliency-based deep neural network for the blind quality assessment of the SIs, which helps IVSS to filter the low-quality SIs and improve the detection and recognition performance. Specifically, we first compute the saliency map of the SI to select the most salient local region since the salient regions usually contain rich semantic information for machine vision and thus have a great impact on the overall quality of the SIs. Next, the convolutional neural network (CNN) is adopted to extract quality-aware features for the whole image and local region, which are then mapped into the global and local quality scores through the fully connected (FC) network respectively. Finally, the overall quality score is computed as the weighted sum of the global and local quality scores. Experimental results on the SI quality database (SIQD) show that the proposed method outperforms all compared state-of-the-art BIQA methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL