CPGA: Coding Priors-Guided Aggregation Network for Compressed Video Quality Enhancement

要約

最近、圧縮ビデオ品質向上 (VQE) において、数多くのアプローチが顕著な成功を収めています。
しかし、これらの方法は通常、動きベクトルや残差フレームなど、豊富な時間的および空間的情報を運ぶ、圧縮ビデオに本質的に埋め込まれている貴重なコーディング事前情報の利用を無視します。
この問題を解決するために、符号化事前確率からの時間的および空間情報を利用する符号化事前確率誘導集約 (CPGA) ネットワークを提案します。
CPGA は主に、フレーム間時間集約 (ITA) モジュールとマルチスケール非ローカル集約 (MNA) モジュールで構成されます。
具体的には、ITA モジュールは連続フレームと事前コーディングから時間情報を集約し、MNA モジュールは残差フレームによって導かれる空間情報をグローバルにキャプチャします。
さらに、VQE タスクの研究を容易にするために、対応するビットストリームから抽出されたさまざまな符号化事前分布を持つ 300 個のビデオで構成されるビデオ符号化事前分布 (VCP) データセットを新たに構築しました。
これにより、コーディング情報の不足による以前のデータセットの不足が解消されます。
実験結果は、既存の最先端の方法と比較して、私たちの方法の優位性を示しています。
コードとデータセットは https://github.com/CPGA/CPGA.git でリリースされます。

要約(オリジナル)

Recently, numerous approaches have achieved notable success in compressed video quality enhancement (VQE). However, these methods usually ignore the utilization of valuable coding priors inherently embedded in compressed videos, such as motion vectors and residual frames, which carry abundant temporal and spatial information. To remedy this problem, we propose the Coding Priors-Guided Aggregation (CPGA) network to utilize temporal and spatial information from coding priors. The CPGA mainly consists of an inter-frame temporal aggregation (ITA) module and a multi-scale non-local aggregation (MNA) module. Specifically, the ITA module aggregates temporal information from consecutive frames and coding priors, while the MNA module globally captures spatial information guided by residual frames. In addition, to facilitate research in VQE task, we newly construct the Video Coding Priors (VCP) dataset, comprising 300 videos with various coding priors extracted from corresponding bitstreams. It remedies the shortage of previous datasets on the lack of coding information. Experimental results demonstrate the superiority of our method compared to existing state-of-the-art methods. The code and dataset will be released at https://github.com/CPGA/CPGA.git.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google