GIFStream: 4D Gaussian-based Immersive Video with Feature Stream

要約

Immersive Videoは、6ドーフリーの視聴体験を提供し、将来のビデオテクノロジーで重要な役割を果たす可能性があります。
最近、4D Gaussian Splattingは、そのレンダリング効率と品質のために、没入型ビデオの効果的なアプローチとして注目を集めていますが、管理可能なストレージで品質を維持することは依然として困難です。
これに対処するために、標準空間を使用した新しい4Dガウス表現と、時間依存の特徴ストリームで強化された変形場を使用したGIFSTREAMを紹介します。
これらの機能ストリームにより、複雑なモーションモデリングが可能になり、時間的対応とモーション認識剪定を活用することにより、効率的な圧縮が可能になります。
さらに、エンドツーエンドの圧縮用の時間的圧縮ネットワークと空間圧縮ネットワークの両方を組み込みます。
実験結果は、GIFSTREAMが30 Mbpsで高品質の没入型ビデオを提供し、RTX 4090でリアルタイムレンダリングと高速デコードを提供することを示しています。プロジェクトページ：https：//xdimlab.github.io/gifstream

要約(オリジナル)

Immersive video offers a 6-Dof-free viewing experience, potentially playing a key role in future video technology. Recently, 4D Gaussian Splatting has gained attention as an effective approach for immersive video due to its high rendering efficiency and quality, though maintaining quality with manageable storage remains challenging. To address this, we introduce GIFStream, a novel 4D Gaussian representation using a canonical space and a deformation field enhanced with time-dependent feature streams. These feature streams enable complex motion modeling and allow efficient compression by leveraging temporal correspondence and motion-aware pruning. Additionally, we incorporate both temporal and spatial compression networks for end-to-end compression. Experimental results show that GIFStream delivers high-quality immersive video at 30 Mbps, with real-time rendering and fast decoding on an RTX 4090. Project page: https://xdimlab.github.io/GIFStream

arxiv情報

提供元, 利用サービス

arxiv.jp, Google