Efficient Dynamic-NeRF Based Volumetric Video Coding with Rate Distortion Optimization

要約

ボリューメトリックビデオは、没入感のある3Dリアリズムとインタラクティブ性から、様々なアプリケーションに大きな可能性を秘めている。近年、NeRFは、そのシンプルな表現と強力な3Dモデリング機能により、ボリューメトリックビデオ圧縮において顕著な可能性を示しており、注目すべき作品としてReRFがある。しかし、ReRFはモデリングと圧縮処理を分離しているため、圧縮効率が最適化されていない。これに対して本論文では、動的NeRFに基づく、よりコンパクトなボリューメトリック映像圧縮法を提案する。具体的には、NeRF表現を係数フィールドと基底フィールドに分解し、動的モデリングを実現するために時間領域で基底フィールドを段階的に更新する。さらに、圧縮効率をさらに向上させるために、モデリングと圧縮プロセスにおいてエンドツーエンドの共同最適化を行う。広範な実験により、我々の手法が様々なデータセットにおいてReRFと比較して高い圧縮効率を達成することが実証された。

要約(オリジナル)

Volumetric videos, benefiting from immersive 3D realism and interactivity, hold vast potential for various applications, while the tremendous data volume poses significant challenges for compression. Recently, NeRF has demonstrated remarkable potential in volumetric video compression thanks to its simple representation and powerful 3D modeling capabilities, where a notable work is ReRF. However, ReRF separates the modeling from compression process, resulting in suboptimal compression efficiency. In contrast, in this paper, we propose a volumetric video compression method based on dynamic NeRF in a more compact manner. Specifically, we decompose the NeRF representation into the coefficient fields and the basis fields, incrementally updating the basis fields in the temporal domain to achieve dynamic modeling. Additionally, we perform end-to-end joint optimization on the modeling and compression process to further improve the compression efficiency. Extensive experiments demonstrate that our method achieves higher compression efficiency compared to ReRF on various datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL