4D Gaussian Splatting: Towards Efficient Novel View Synthesis for Dynamic Scenes

要約

我々は動的なシーンに対する新規ビュー合成（NVS）の問題を考察する。最近のニューラルアプローチは、静的な3Dシーンに対しては卓越したNVSの結果を達成しているが、4D時変シーンへの拡張は依然として非自明である。先行研究の多くは、正準空間と暗黙的または明示的な変形場を学習することでダイナミクスを符号化しているが、突然の動きや忠実度の高いレンダリングのキャプチャのような困難なシナリオでは苦戦を強いられる。本論文では、静的シーンにおける3Dガウシアンスプラッティングの成功に触発され、異方性4D XYZTガウシアンで動的シーンを表現する新しい手法である4Dガウシアンスプラッティング（4DGS）を紹介する。我々は、4次元ガウシアンを時間的にスライスすることにより、各タイムスタンプにおけるダイナミクスをモデル化し、自然にダイナミックな3次元ガウシアンを構成し、画像にシームレスに投影することができる。明示的な空間-時間表現として、4DGSは、複雑なダイナミクスや、特に急な動きのあるシーンの微細なディテールをモデル化するための強力な能力を示す。我々はさらに、高度に最適化されたCUDAアクセラレーションフレームワークに時間的スライシングとスプラッティング技術を実装し、RTX 3090 GPUで最大277 FPS、RTX 4090 GPUで最大583 FPSのリアルタイム推論レンダリング速度を達成した。多様なモーションを持つシーンでの厳密な評価により、4DGSの優れた効率性と有効性が示され、定量的にも定性的にも一貫して既存の手法を上回っています。

要約(オリジナル)

We consider the problem of novel view synthesis (NVS) for dynamic scenes. Recent neural approaches have accomplished exceptional NVS results for static 3D scenes, but extensions to 4D time-varying scenes remain non-trivial. Prior efforts often encode dynamics by learning a canonical space plus implicit or explicit deformation fields, which struggle in challenging scenarios like sudden movements or capturing high-fidelity renderings. In this paper, we introduce 4D Gaussian Splatting (4DGS), a novel method that represents dynamic scenes with anisotropic 4D XYZT Gaussians, inspired by the success of 3D Gaussian Splatting in static scenes. We model dynamics at each timestamp by temporally slicing the 4D Gaussians, which naturally compose dynamic 3D Gaussians and can be seamlessly projected into images. As an explicit spatial-temporal representation, 4DGS demonstrates powerful capabilities for modeling complicated dynamics and fine details, especially for scenes with abrupt motions. We further implement our temporal slicing and splatting techniques in a highly optimized CUDA acceleration framework, achieving real-time inference rendering speeds of up to 277 FPS on an RTX 3090 GPU and 583 FPS on an RTX 4090 GPU. Rigorous evaluations on scenes with diverse motions showcase the superior efficiency and effectiveness of 4DGS, which consistently outperforms existing methods both quantitatively and qualitatively.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL