Coarse-to-fine Deep Video Coding with Hyperprior-guided Mode Prediction

要約

以前のディープビデオ圧縮アプローチは、単一スケールの動き補償戦略のみを使用し、動きと残差圧縮の両方にH.264/H.265などの従来の標準からのモード予測技術を採用することはめったにありません。
この作業では、最初に、動き補償を改善するための粗いから細かい（C2F）ディープビデオ圧縮フレームワークを提案します。このフレームワークでは、動きの推定、圧縮、および補正を粗い方法から細かい方法で2回実行します。
当社のC2Fフレームワークは、ビットコストを大幅に増加させることなく、より良い動き補償結果を達成できます。
ハイパープライアネットワークからのハイパープライア情報（つまり、平均値と分散値）を観察すると、さまざまなパッチの判別統計情報が含まれます。また、2つの効率的なハイパープライアガイドモード予測方法を提案します。
具体的には、ハイパープライア情報を入力として使用して、2つのモード予測ネットワークを提案し、モーションコーディングを改善するための最適なブロック解像度をそれぞれ予測し、ビットコストを追加せずに各ブロックから残差情報をスキップして、余分な計算を無視できるかどうかを判断します。
料金。
包括的な実験結果は、新しいハイパープライアガイドモード予測方法を備えた提案されたC2Fビデオ圧縮フレームワークが、HEVC、UVG、およびMCL-JCVデータセットで最先端のパフォーマンスを実現することを示しています。

要約(オリジナル)

The previous deep video compression approaches only use the single scale motion compensation strategy and rarely adopt the mode prediction technique from the traditional standards like H.264/H.265 for both motion and residual compression. In this work, we first propose a coarse-to-fine (C2F) deep video compression framework for better motion compensation, in which we perform motion estimation, compression and compensation twice in a coarse to fine manner. Our C2F framework can achieve better motion compensation results without significantly increasing bit costs. Observing hyperprior information (i.e., the mean and variance values) from the hyperprior networks contains discriminant statistical information of different patches, we also propose two efficient hyperprior-guided mode prediction methods. Specifically, using hyperprior information as the input, we propose two mode prediction networks to respectively predict the optimal block resolutions for better motion coding and decide whether to skip residual information from each block for better residual coding without introducing additional bit cost while bringing negligible extra computation cost. Comprehensive experimental results demonstrate our proposed C2F video compression framework equipped with the new hyperprior-guided mode prediction methods achieves the state-of-the-art performance on HEVC, UVG and MCL-JCV datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google