Learned Video Compression via Heterogeneous Deformable Compensation Network

要約

学習したビデオ圧縮は、動き補償が最も困難な問題の1つと見なされている、高度なビデオ圧縮技術を開発する上で不可欠な研究トピックとして最近浮上しています。
本論文では、ダウンサンプリングされた特徴領域における単一サイズの変形可能カーネルによって引き起こされる不安定な圧縮性能の問題に取り組むために、異種変形可能補償戦略（HDCVC）を介して学習されたビデオ圧縮フレームワークを提案する。
より具体的には、オプティカルフローワーピングまたはシングルサイズカーネル変形可能アライメントを利用する代わりに、提案されたアルゴリズムは、2つの隣接するフレームから特徴を抽出して、コンテンツ適応型異種変形可能（HetDeform）カーネルオフセットを推定します。
次に、HetDeform畳み込みを使用して参照フィーチャを変換し、動き補償を実現します。
さらに、空間的近隣条件付き分割正規化（SNCDN）を設計して、一般化分割正規化と組み合わせたより効果的なデータガウス化を実現します。
さらに、最終的な品質向上のためにコンテキストと時間情報を活用するためのマルチフレーム強化再構成モジュールを提案します。
実験結果は、HDCVCが最近の最先端の学習済みビデオ圧縮アプローチよりも優れたパフォーマンスを達成することを示しています。

要約(オリジナル)

Learned video compression has recently emerged as an essential research topic in developing advanced video compression technologies, where motion compensation is considered one of the most challenging issues. In this paper, we propose a learned video compression framework via heterogeneous deformable compensation strategy (HDCVC) to tackle the problems of unstable compression performance caused by single-size deformable kernels in downsampled feature domain. More specifically, instead of utilizing optical flow warping or single-size-kernel deformable alignment, the proposed algorithm extracts features from the two adjacent frames to estimate content-adaptive heterogeneous deformable (HetDeform) kernel offsets. Then we transform the reference features with the HetDeform convolution to accomplish motion compensation. Moreover, we design a Spatial-Neighborhood-Conditioned Divisive Normalization (SNCDN) to achieve more effective data Gaussianization combined with the Generalized Divisive Normalization. Furthermore, we propose a multi-frame enhanced reconstruction module for exploiting context and temporal information for final quality enhancement. Experimental results indicate that HDCVC achieves superior performance than the recent state-of-the-art learned video compression approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google