IQNet: Image Quality Assessment Guided Just Noticeable Difference Prefiltering For Versatile Video Coding

要約

顕著な歪みを伴う画像プレフィルタリング (JND) は、圧縮前に知覚的に冗長な情報をフィルタリングすることにより、視覚的にロスのない方法でコーディング効率を向上させます。
ただし、実際の JND は、従来のアプローチにおける不正確なマスキング方程式や深層学習アプローチにおける画像レベルのサブジェクト テストでは適切にモデル化できません。
したがって、この論文では、正確なブロックレベルの JND モデリングのための画質評価に基づいた、きめの細かい JND プレフィルタリング データセットを提案します。
データセットは、コーディング効果を含めるためにデコードされた画像から構築され、ブロックのオーバーラップとエッジの保存によって知覚的にも強化されます。
さらに、このデータセットに基づいて、軽量の JND プレフィルタリング ネットワーク IQNet を提案します。これは、同じモデルでさまざまな量子化ケースに直接適用でき、3K パラメータのみが必要です。
実験結果は、多目的ビデオ コーディングへの提案されたアプローチにより、オールイントラ構成と低遅延 P 構成でそれぞれ最大/平均ビットレート 41\%/15\% と 53\%/19\% の節約が可能であることを示しています。
主観的な品質の低下。
私たちの方法は、以前の深層学習方法よりも高い知覚品質と一桁小さいモデルサイズを示しています。

要約(オリジナル)

Image prefiltering with just noticeable distortion (JND) improves coding efficiency in a visual lossless way by filtering the perceptually redundant information prior to compression. However, real JND cannot be well modeled with inaccurate masking equations in traditional approaches or image-level subject tests in deep learning approaches. Thus, this paper proposes a fine-grained JND prefiltering dataset guided by image quality assessment for accurate block-level JND modeling. The dataset is constructed from decoded images to include coding effects and is also perceptually enhanced with block overlap and edge preservation. Furthermore, based on this dataset, we propose a lightweight JND prefiltering network, IQNet, which can be applied directly to different quantization cases with the same model and only needs 3K parameters. The experimental results show that the proposed approach to Versatile Video Coding could yield maximum/average bitrate savings of 41\%/15\% and 53\%/19\% for all-intra and low-delay P configurations, respectively, with negligible subjective quality loss. Our method demonstrates higher perceptual quality and a model size that is an order of magnitude smaller than previous deep learning methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google