MobileNVC: Real-time 1080p Neural Video Compression on a Mobile Device

要約

ニューラル ビデオ コーデックは、最近、低遅延設定において HEVC などの標準コーデックと競合できるようになりました。
ただし、ほとんどのニューラル コーデックは、時間モデリングにピクセル密度の高いワーピング操作を使用する大規模な浮動小数点ネットワークであるため、モバイル デバイスに展開するには計算コストが高すぎます。
最近の研究では、モバイル上でニューラル デコーダをリアルタイムで実行することが可能であることが実証されていますが、これは 720p RGB ビデオに対してのみ示されています。
この研究では、モバイル デバイス上で 1080p YUV420 ビデオをリアルタイムでデコードする初のニューラル ビデオ コーデックを紹介します。
私たちのコーデックは 2 つの主要な貢献に依存しています。
まず、モバイル アクセラレータのワーピング コアで利用可能なブロックベースの動き補償アルゴリズムを使用する効率的なコーデックを設計し、このモデルを整数精度に量子化する方法を示します。
2 番目に、ニューラル シグナル プロセッサでニューラル ネットワーク コンポーネントを実行し、モバイル GPU で並列エントロピー コーディングを実行し、ワーピング コアでワーピングを実行する高速デコーダ パイプラインを実装します。
当社のコーデックは、以前のオンデバイス コーデックを大幅に上回り、BD レートを最大 48% 節約し、受信側の MAC 数を 10 倍 $ 削減します。
導入された動き補償スキームの効果を実証するために慎重なアブレーションを実行し、モデルの量子化の効果をアブレーションします。

要約(オリジナル)

Neural video codecs have recently become competitive with standard codecs such as HEVC in the low-delay setting. However, most neural codecs are large floating-point networks that use pixel-dense warping operations for temporal modeling, making them too computationally expensive for deployment on mobile devices. Recent work has demonstrated that running a neural decoder in real time on mobile is feasible, but shows this only for 720p RGB video. This work presents the first neural video codec that decodes 1080p YUV420 video in real time on a mobile device. Our codec relies on two major contributions. First, we design an efficient codec that uses a block-based motion compensation algorithm available on the warping core of the mobile accelerator, and we show how to quantize this model to integer precision. Second, we implement a fast decoder pipeline that concurrently runs neural network components on the neural signal processor, parallel entropy coding on the mobile GPU, and warping on the warping core. Our codec outperforms the previous on-device codec by a large margin with up to 48% BD-rate savings, while reducing the MAC count on the receiver side by $10 \times$. We perform a careful ablation to demonstrate the effect of the introduced motion compensation scheme, and ablate the effect of model quantization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google