AlphaVC: High-Performance and Efficient Learned Video Compression

要約

最近、学習されたビデオ圧縮が多くの注目を集めており、有望な結果をもたらす急速な開発傾向を示しています。
ただし、以前の作業にはまだいくつかの重大な問題があり、広く使用されている PSNR メトリックに関して、従来の圧縮標準とのパフォーマンス ギャップがあります。
本稿では、パフォーマンスを効果的に改善するためのいくつかの手法を提案します。
まず、累積エラーの問題に対処するために、条件付き I フレームを GoP の最初のフレームとして導入します。これにより、再構成された品質が安定し、ビットレートが節約されます。
第二に、デコーダの複雑さを増やさずにインター予測の精度を効率的に向上させるために、高品質の動き情報を取得するのに役立つエンコーダ側でのピクセルから特徴への動き予測方法を提案します。
第三に、パフォーマンスの向上をもたらすだけでなく、エントロピーコーディングの実行時間を大幅に短縮する、確率ベースのエントロピースキッピング方法を提案します。
これらの強力な技術を使用して、このペーパーでは、高性能で効率的な学習ビデオ圧縮方式である AlphaVC を提案します。
私たちの知る限りでは、AlphaVC は、PSNR (-28.2% BD レート節約) と MSSSIM (-52.2% BD レート節約) の両方のすべての一般的なテスト データセットで、最新の圧縮標準 VVC を超える最初の E2E AI コーデックです。
非常に高速なエンコード (0.001x VVC) およびデコード (1.69x VVC) 速度を備えています。

要約(オリジナル)

Recently, learned video compression has drawn lots of attention and show a rapid development trend with promising results. However, the previous works still suffer from some criticial issues and have a performance gap with traditional compression standards in terms of widely used PSNR metric. In this paper, we propose several techniques to effectively improve the performance. First, to address the problem of accumulative error, we introduce a conditional-I-frame as the first frame in the GoP, which stabilizes the reconstructed quality and saves the bit-rate. Second, to efficiently improve the accuracy of inter prediction without increasing the complexity of decoder, we propose a pixel-to-feature motion prediction method at encoder side that helps us to obtain high-quality motion information. Third, we propose a probability-based entropy skipping method, which not only brings performance gain, but also greatly reduces the runtime of entropy coding. With these powerful techniques, this paper proposes AlphaVC, a high-performance and efficient learned video compression scheme. To the best of our knowledge, AlphaVC is the first E2E AI codec that exceeds the latest compression standard VVC on all common test datasets for both PSNR (-28.2% BD-rate saving) and MSSSIM (-52.2% BD-rate saving), and has very fast encoding (0.001x VVC) and decoding (1.69x VVC) speeds.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google