Augmented Deep Contexts for Spatially Embedded Video Coding

要約

ほとんどのニューラルビデオコーデック（NVC）は、一時的な参照のみを使用して、時間のみのコンテキストと潜在的な事前に生成されます。
これらの一時的なみのNVCは、限られたコンテキストと潜在的な潜在的な潜在的な潜在整形のために、大きな動きや新しいオブジェクトを処理できません。
制限を緩和するために、空間的に埋め込まれたビデオコーデック（SEVC）を提案します。ここでは、低解像度のビデオが空間参照のために圧縮されます。
第一に、SEVCは空間的参照と時間的参照の両方を活用して、増強された動きベクターとハイブリッド空間的コンテキストを生成します。
第二に、潜在的な事前の不整合の問題に対処し、以前の情報を豊かにするために、複数の時間的潜在表現によって増強された空間誘導潜在的な事前の事前を導入します。
最後に、私たちは共同空間的最適化を設計して、空間参照の品質適応ビット割り当てを学習し、レート層のパフォーマンスをさらに高めます。
実験結果は、SEVCが大規模なモーションまたは新しいオブジェクトの処理における制限を効果的に緩和し、以前の最先端のNVCよりも11.9％のビットレートを減らしながら、追加の低解像度ビットストリームを提供することを示しています。
コードとモデルはhttps://github.com/esakak/sevcで入手できます。

要約(オリジナル)

Most Neural Video Codecs (NVCs) only employ temporal references to generate temporal-only contexts and latent prior. These temporal-only NVCs fail to handle large motions or emerging objects due to limited contexts and misaligned latent prior. To relieve the limitations, we propose a Spatially Embedded Video Codec (SEVC), in which the low-resolution video is compressed for spatial references. Firstly, our SEVC leverages both spatial and temporal references to generate augmented motion vectors and hybrid spatial-temporal contexts. Secondly, to address the misalignment issue in latent prior and enrich the prior information, we introduce a spatial-guided latent prior augmented by multiple temporal latent representations. At last, we design a joint spatial-temporal optimization to learn quality-adaptive bit allocation for spatial references, further boosting rate-distortion performance. Experimental results show that our SEVC effectively alleviates the limitations in handling large motions or emerging objects, and also reduces 11.9% more bitrate than the previous state-of-the-art NVC while providing an additional low-resolution bitstream. Our code and model are available at https://github.com/EsakaK/SEVC.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google