Neural Video Compression with Context Modulation

要約

効率的なビデオコーディングは、時間的冗長性の悪用に大きく依存しています。これは、通常、新しい条件付きコーディングベースのニューラルビデオコーデック（NVC）の時間的コンテキストを抽出および活用することによって達成されます。
最新のNVCは圧縮性能の向上において顕著な進歩を遂げましたが、固有の時間的コンテキスト伝播メカニズムには、参照情報を十分に活用し、さらなる改善を制限する能力がありません。
この論文では、2つのステップでの参照フレームと時間的コンテキストを調整することにより、制限に対処します。
具体的には、最初に、追加指向の時間コンテキストを生成するために、参照フレームと予測フレームの間の相互相関を採掘するためのフロー方向を提案します。
さらに、コンテキスト補償を導入して、指向されたコンテキストを活用して、伝播された参照機能から生成された伝播された時間的コンテキストを調節します。
相乗メカニズムと分離損失監督を通じて、無関係な伝播情報を効果的に排除して、より良いコンテキストモデリングを確保することができます。
実験結果は、私たちのコーデックが、高度な従来のビデオコーデックH.266/VVCよりも平均22.7％のビットレート削減を達成し、以前の最先端のNVC DCVC-FMよりも平均10.1％のビットレートを保存することを示しています。
このコードは、https：//github.com/austin4ustc/dcmvcで入手できます。

要約(オリジナル)

Efficient video coding is highly dependent on exploiting the temporal redundancy, which is usually achieved by extracting and leveraging the temporal context in the emerging conditional coding-based neural video codec (NVC). Although the latest NVC has achieved remarkable progress in improving the compression performance, the inherent temporal context propagation mechanism lacks the ability to sufficiently leverage the reference information, limiting further improvement. In this paper, we address the limitation by modulating the temporal context with the reference frame in two steps. Specifically, we first propose the flow orientation to mine the inter-correlation between the reference frame and prediction frame for generating the additional oriented temporal context. Moreover, we introduce the context compensation to leverage the oriented context to modulate the propagated temporal context generated from the propagated reference feature. Through the synergy mechanism and decoupling loss supervision, the irrelevant propagated information can be effectively eliminated to ensure better context modeling. Experimental results demonstrate that our codec achieves on average 22.7% bitrate reduction over the advanced traditional video codec H.266/VVC, and offers an average 10.1% bitrate saving over the previous state-of-the-art NVC DCVC-FM. The code is available at https://github.com/Austin4USTC/DCMVC.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google