Deep Neural Network for Blind Visual Quality Assessment of 4K Content

要約

4Kコンテンツは、空間解像度の大幅な向上により、より没入感のある視覚体験を消費者に提供することができます。しかし、既存のブラインド画質評価（BIQA）手法は、拡大された解像度と特定の歪みのために、オリジナルとアップスケールされた4Kコンテンツに適していません。本論文では、一方では真の4Kコンテンツと疑似4Kコンテンツを認識でき、他方ではそれらの知覚的な視覚品質を評価できる、4Kコンテンツ用の深層学習ベースのBIQAモデルを提案する。高い空間解像度がより豊富な高周波情報を表現できるという特性を考慮し、我々はまず、計算複雑さを軽減することができ、実験を通じて全体的な品質予測に非常に有効であることが証明されている、4K画像から3つの代表画像パッチを選択する灰色レベル共起行列（GLCM）ベースの質感複雑さ指標を提案する。次に、畳み込みニューラルネットワーク（CNN）の中間層から様々な種類の視覚的特徴を抽出し、品質を考慮した特徴表現に統合します。最後に，2つの多層知覚（MLP）ネットワークを利用し，品質を考慮した特徴を各パッチのクラス確率と品質スコアにそれぞれ対応付ける．総合的な品質指標は，パッチの結果の平均的なプーリングによって得られる．提案モデルはマルチタスク学習により学習され，分類タスクと回帰タスクの損失をバランスさせるために不確定性原理を導入している．提案モデルは、4つの4Kコンテンツ品質評価データベースにおいて、比較したすべてのBIQA指標を上回る性能を示すことが実験結果により示された。

要約(オリジナル)

The 4K content can deliver a more immersive visual experience to consumers due to the huge improvement of spatial resolution. However, existing blind image quality assessment (BIQA) methods are not suitable for the original and upscaled 4K contents due to the expanded resolution and specific distortions. In this paper, we propose a deep learning-based BIQA model for 4K content, which on one hand can recognize true and pseudo 4K content and on the other hand can evaluate their perceptual visual quality. Considering the characteristic that high spatial resolution can represent more abundant high-frequency information, we first propose a Grey-level Co-occurrence Matrix (GLCM) based texture complexity measure to select three representative image patches from a 4K image, which can reduce the computational complexity and is proven to be very effective for the overall quality prediction through experiments. Then we extract different kinds of visual features from the intermediate layers of the convolutional neural network (CNN) and integrate them into the quality-aware feature representation. Finally, two multilayer perception (MLP) networks are utilized to map the quality-aware features into the class probability and the quality score for each patch respectively. The overall quality index is obtained through the average pooling of patch results. The proposed model is trained through the multi-task learning manner and we introduce an uncertainty principle to balance the losses of the classification and regression tasks. The experimental results show that the proposed model outperforms all compared BIQA metrics on four 4K content quality assessment databases.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL