CANF-VC: Conditional Augmented Normalizing Flows for Video Compression

要約

このホワイトペーパーでは、条件付き拡張正規化フロー（CANF）に基づいた、CANF-VCと呼ばれるエンドツーエンドの学習ベースのビデオ圧縮システムについて説明します。
ほとんどの学習済みビデオ圧縮システムは、従来のコーデックと同じハイブリッドベースのコーディングアーキテクチャを採用しています。
条件付きコーディングに関する最近の研究は、ハイブリッドベースのコーディングの準最適性を示しており、新しいコーディングフレームワークの作成において重要な役割を果たすための深い生成モデルの機会を開いています。
CANF-VCは、条件付きANFを利用して、条件付きフレーム間コーディングのビデオ生成モデルを学習する新しい試みを表しています。
ANFを選択したのは、特殊なケースとして変分オートエンコーダーを含み、より優れた表現力を実現できる特殊なタイプの生成モデルであるためです。
CANF-VCはまた、条件付きコーディングの概念をモーションコーディングに拡張し、純粋な条件付きコーディングフレームワークを形成します。
一般的に使用されるデータセットに関する広範な実験結果により、CANF-VCが最先端の方法よりも優れていることが確認されています。
CANF-VCのソースコードはhttps://github.com/NYCU-MAPL/CANF-VCで入手できます。

要約(オリジナル)

This paper presents an end-to-end learning-based video compression system, termed CANF-VC, based on conditional augmented normalizing flows (CANF). Most learned video compression systems adopt the same hybrid-based coding architecture as the traditional codecs. Recent research on conditional coding has shown the sub-optimality of the hybrid-based coding and opens up opportunities for deep generative models to take a key role in creating new coding frameworks. CANF-VC represents a new attempt that leverages the conditional ANF to learn a video generative model for conditional inter-frame coding. We choose ANF because it is a special type of generative model, which includes variational autoencoder as a special case and is able to achieve better expressiveness. CANF-VC also extends the idea of conditional coding to motion coding, forming a purely conditional coding framework. Extensive experimental results on commonly used datasets confirm the superiority of CANF-VC to the state-of-the-art methods. The source code of CANF-VC is available at https://github.com/NYCU-MAPL/CANF-VC.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google