Bit Allocation using Optimization

要約

タイトル： 最適化を用いたビット配分
要約：
– Neural Video Compression (NVC)におけるビット配分の問題を考慮する。
– NVCにおけるビット配分とSemi-Amortized Variational Inference（SAVI）との基本的な関係を明らかにする。特に、GoP（Group-of-Picture）レベルの尤度を持つSAVIは、正確なレートおよび品質依存モデルを持つピクセルレベルのビット配分と同等であることを示す。
– この同等性に基づいて、SAVIを使用したビット配分の新しいパラダイムを確立する。従来のビット配分法とは異なり、エンパイリカルモデルは必要とせず、最適である。
– さらに、単一レベルの潜在変数にしか勾配上昇を適用できない元のSAVIを、再帰的に勾配上昇を行うことでNVCなどの多レベルに拡張する。
– 最後に、実装を可能にする扱いやすい近似を提案する。この方法は、エンコード速度よりもパフォーマンスが優先される場合に適用でき、ビット配分のR-Dパフォーマンスの実証的な上限として機能する。
– 実験結果は、現在の最新のビット配分アルゴリズムが、私たちのものと比較してまだ約0.5 dB PSNRの改善余地があることを示している。コードは、\url{https://github.com/tongdaxu/Bit-Allocation-Using-Optimization}で入手可能。

要約(オリジナル)

In this paper, we consider the problem of bit allocation in Neural Video Compression (NVC). First, we reveal a fundamental relationship between bit allocation in NVC and Semi-Amortized Variational Inference (SAVI). Specifically, we show that SAVI with GoP (Group-of-Picture)-level likelihood is equivalent to pixel-level bit allocation with precise rate \& quality dependency model. Based on this equivalence, we establish a new paradigm of bit allocation using SAVI. Different from previous bit allocation methods, our approach requires no empirical model and is thus optimal. Moreover, as the original SAVI using gradient ascent only applies to single-level latent, we extend the SAVI to multi-level such as NVC by recursively applying back-propagating through gradient ascent. Finally, we propose a tractable approximation for practical implementation. Our method can be applied to scenarios where performance outweights encoding speed, and serves as an empirical bound on the R-D performance of bit allocation. Experimental results show that current state-of-the-art bit allocation algorithms still have a room of $\approx 0.5$ dB PSNR to improve compared with ours. Code is available at \url{https://github.com/tongdaxu/Bit-Allocation-Using-Optimization}.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI