Saliency-Aware Spatio-Temporal Artifact Detection for Compressed Video Quality Assessment

要約

圧縮された映像には，Perceivable Encoding Artifacts (PEA) と呼ばれる視覚的に煩わしいアーチファクトがしばしば発生し，映像の視覚的品質を劇的に低下させる。様々な種類のPEAを識別し定量化することができる主観的・客観的な手段は、映像品質を向上させる上で非常に重要である。本論文では，4つの空間的アーチファクト（すなわち，ぼかし，ブロッキング，にじみ，リンギング）と2つの時間的アーチファクト（すなわち，ちらつき，浮遊）が映像品質に与える影響を調査する．空間的アーティファクトについては、計算コストが低く、人間の視覚的知覚との整合性が高い視覚的顕著性モデルを提案する。時間的アーティファクトに関しては、自己注意に基づくTimeSFormerを改良し、時間的アーティファクトを検出する。6種類のPEAに基づき、Saliency-Aware Spatio-Temporal Artifacts Measurement (SSTAM) と呼ばれる品質評価指標を提案する。実験により、提案手法は最先端のメトリクスを凌駕することが実証された。我々は、SSTAMが動画像符号化技術の最適化に有益であると確信している。

要約(オリジナル)

Compressed videos often exhibit visually annoying artifacts, known as Perceivable Encoding Artifacts (PEAs), which dramatically degrade video visual quality. Subjective and objective measures capable of identifying and quantifying various types of PEAs are critical in improving visual quality. In this paper, we investigate the influence of four spatial PEAs (i.e. blurring, blocking, bleeding, and ringing) and two temporal PEAs (i.e. flickering and floating) on video quality. For spatial artifacts, we propose a visual saliency model with a low computational cost and higher consistency with human visual perception. In terms of temporal artifacts, self-attention based TimeSFormer is improved to detect temporal artifacts. Based on the six types of PEAs, a quality metric called Saliency-Aware Spatio-Temporal Artifacts Measurement (SSTAM) is proposed. Experimental results demonstrate that the proposed method outperforms state-of-the-art metrics. We believe that SSTAM will be beneficial for optimizing video coding techniques.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL