Immersive Video Compression using Implicit Neural Representations

要約

暗黙的ニューラル表現 (INR) に関する最近の研究により、INR が従来のビデオ コンテンツを効率的に表現およびエンコードできる可能性が実証されました。
この論文では、新しい INR ベースのイマーシブ ビデオ コーデックである MV-HiNeRV を提案することにより、そのアプリケーションをイマーシブ (マルチビュー) ビデオに初めて拡張します。
MV-HiNeRV は、シングルビュー ビデオ圧縮用に開発された最先端の INR ベースのビデオ コーデックである HiNeRV の拡張バージョンです。
ビューごとに異なるフィーチャ グリッドのグループを学習し、学習したネットワーク パラメーターをすべてのビューで共有するようにモデルを変更しました。
これにより、モデルはマルチビュー ビデオ内に存在する時空間的冗長性とビュー間の冗長性を効果的に活用できます。
提案されたコーデックは、MPEG イマーシブ ビデオ (MIV) 共通テスト条件でマルチビュー テクスチャおよび深度ビデオ シーケンスを圧縮するために使用され、VVenC ビデオ コーデックを使用する MIV テスト モデル (TMIV) に対してテストされました。
結果は、MV-HiNeRV の優れたパフォーマンスを示しており、TMIV と比較して大幅なコーディングの向上 (最大 72.33\%) を実現しています。
MV-HiNeRV の実装は、さらなる開発と評価のために公開されています。

要約(オリジナル)

Recent work on implicit neural representations (INRs) has evidenced their potential for efficiently representing and encoding conventional video content. In this paper we, for the first time, extend their application to immersive (multi-view) videos, by proposing MV-HiNeRV, a new INR-based immersive video codec. MV-HiNeRV is an enhanced version of a state-of-the-art INR-based video codec, HiNeRV, which was developed for single-view video compression. We have modified the model to learn a different group of feature grids for each view, and share the learnt network parameters among all views. This enables the model to effectively exploit the spatio-temporal and the inter-view redundancy that exists within multi-view videos. The proposed codec was used to compress multi-view texture and depth video sequences in the MPEG Immersive Video (MIV) Common Test Conditions, and tested against the MIV Test model (TMIV) that uses the VVenC video codec. The results demonstrate the superior performance of MV-HiNeRV, with significant coding gains (up to 72.33\%) over TMIV. The implementation of MV-HiNeRV is published for further development and evaluation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google