Rate-Perception Optimized Preprocessing for Video Coding

要約

過去数十年で、従来のビデオ コーデックや学習ベースのビデオ コーデックなど、ビデオ圧縮分野で多くの進歩がありました。
ただし、前処理技術を使用してレート歪み性能を改善することに焦点を当てた研究はほとんどありません。
本稿では、レート知覚最適化前処理 (RPP) 法を提案します。
最初に、ビットレートを節約し、重要な高周波成分も保持できる適応離散コサイン変換損失関数を導入します。
さらに、高次劣化モデル、効率的な軽量ネットワーク設計、画質評価モデルなど、低レベルの視覚分野からのいくつかの最先端技術をアプローチに組み合わせています。
これらの強力な技術を併用することで、当社の RPP アプローチは、複数の品質指標の下で、AVC、HEVC、VVC などのさまざまなビデオ エンコーダーで、平均して 16.27% のビットレートの節約を達成できます。
展開段階では、ビデオのエンコード、ストリーミング、およびデコードの設定を変更する必要がない、非常にシンプルで効率的な RPP メソッドです。
各入力フレームは、ビデオ エンコーダーに送信する前に、RPP を 1 回通過するだけで済みます。
さらに、私たちの主観的な視覚品質テストでは、ユーザーの 87% が RPP を使用したビデオは圧縮にコーデックのみを使用したビデオよりも優れているか同等であると考えており、RPP を使用したこれらのビデオは平均して約 12% のビットレートを節約します。
当社の RPP フレームワークは、毎日何百万人ものユーザーにサービスを提供する当社のビデオ トランスコーディング サービスの生産環境に統合されています。

要約(オリジナル)

In the past decades, lots of progress have been done in the video compression field including traditional video codec and learning-based video codec. However, few studies focus on using preprocessing techniques to improve the rate-distortion performance. In this paper, we propose a rate-perception optimized preprocessing (RPP) method. We first introduce an adaptive Discrete Cosine Transform loss function which can save the bitrate and keep essential high frequency components as well. Furthermore, we also combine several state-of-the-art techniques from low-level vision fields into our approach, such as the high-order degradation model, efficient lightweight network design, and Image Quality Assessment model. By jointly using these powerful techniques, our RPP approach can achieve on average, 16.27% bitrate saving with different video encoders like AVC, HEVC, and VVC under multiple quality metrics. In the deployment stage, our RPP method is very simple and efficient which is not required any changes in the setting of video encoding, streaming, and decoding. Each input frame only needs to make a single pass through RPP before sending into video encoders. In addition, in our subjective visual quality test, 87% of users think videos with RPP are better or equal to videos by only using the codec to compress, while these videos with RPP save about 12% bitrate on average. Our RPP framework has been integrated into the production environment of our video transcoding services which serve millions of users every day.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google