Scene Matters: Model-based Deep Video Compression

要約

ビデオ圧縮は常に人気のある研究分野であり、多くの伝統的で深いビデオ圧縮方法が提案されてきました。
これらの方法は通常、信号予測理論に依存して、高効率のイントラおよびインター予測戦略を設計し、ビデオ フレームを 1 つずつ圧縮することにより、圧縮パフォーマンスを向上させます。
この論文では、シーンをビデオシーケンスの基本単位と見なす新しいモデルベースのビデオ圧縮（MVC）フレームワークを提案します。
提案された MVC は、1 つのシーン内のビデオ シーケンス全体の強度変化を直接モデル化し、時空間予測によって冗長性を減らすのではなく、冗長性のない表現を求めます。
これを実現するために、基本的なモデリング アーキテクチャとして暗黙的ニューラル表現 (INR) を採用しています。
ビデオ モデリングの効率を向上させるために、まず、空間コンテキスト強化におけるコンテキスト関連空間位置埋め込み (CRSPE) と周波数領域監視 (FDS) を提案します。
時間的相関をキャプチャするために、シーン フロー制約メカニズム (SFCM) と時間的コントラスト損失 (TCL) を設計します。
広範な実験結果は、私たちの方法が最新のビデオ コーディング標準 H.266 と比較して最大 20\% のビットレート削減を達成し、既存のビデオ コーディング戦略よりもデコード効率が高いことを示しています。

要約(オリジナル)

Video compression has always been a popular research area, where many traditional and deep video compression methods have been proposed. These methods typically rely on signal prediction theory to enhance compression performance by designing high efficient intra and inter prediction strategies and compressing video frames one by one. In this paper, we propose a novel model-based video compression (MVC) framework that regards scenes as the fundamental units for video sequences. Our proposed MVC directly models the intensity variation of the entire video sequence in one scene, seeking non-redundant representations instead of reducing redundancy through spatio-temporal predictions. To achieve this, we employ implicit neural representation (INR) as our basic modeling architecture. To improve the efficiency of video modeling, we first propose context-related spatial positional embedding (CRSPE) and frequency domain supervision (FDS) in spatial context enhancement. For temporal correlation capturing, we design the scene flow constrain mechanism (SFCM) and temporal contrastive loss (TCL). Extensive experimental results demonstrate that our method achieves up to a 20\% bitrate reduction compared to the latest video coding standard H.266 and is more efficient in decoding than existing video coding strategies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google