4D Gaussian Splatting: Towards Efficient Novel View Synthesis for Dynamic Scenes

要約

動的シーンの新規ビュー合成 (NVS) の問題を検討します。
最近のニューラル アプローチは、静的な 3D シーンに対して優れた NVS 結果を達成しましたが、4D 時間変化シーンへの拡張は依然として重要です。
これまでの取り組みでは、正準空間と暗黙的または明示的な変形フィールドを学習することによってダイナミクスをエンコードすることが多く、突然の動きや高忠実度のレンダリングのキャプチャなどの困難なシナリオでは困難を伴いました。
この論文では、静的シーンでの 3D ガウス スプラッティングの成功にヒントを得て、異方性 4D XYZT ガウスで動的シーンを表現する新しい方法である 4D ガウス スプラッティング (4DGS) を紹介します。
4D ガウスを時間的にスライスすることにより、各タイムスタンプでダイナミクスをモデル化します。これにより、動的 3D ガウスが自然に構成され、シームレスに画像に投影できます。
明示的な時空間表現として、4DGS は、特に急激な動きのあるシーンの複雑なダイナミクスと細かい詳細をモデリングするための強力な機能を実証します。
さらに、高度に最適化された CUDA アクセラレーション フレームワークに時間スライシングおよびスプラッティング技術を実装し、RTX 3090 GPU で最大 277 FPS、RTX 4090 GPU で 583 FPS のリアルタイム推論レンダリング速度を実現します。
多様なモーションのあるシーンに対する厳密な評価により、4DGS の優れた効率と有効性が実証され、量的および質的に既存の方法を常に上回っています。

要約(オリジナル)

We consider the problem of novel view synthesis (NVS) for dynamic scenes. Recent neural approaches have accomplished exceptional NVS results for static 3D scenes, but extensions to 4D time-varying scenes remain non-trivial. Prior efforts often encode dynamics by learning a canonical space plus implicit or explicit deformation fields, which struggle in challenging scenarios like sudden movements or capturing high-fidelity renderings. In this paper, we introduce 4D Gaussian Splatting (4DGS), a novel method that represents dynamic scenes with anisotropic 4D XYZT Gaussians, inspired by the success of 3D Gaussian Splatting in static scenes. We model dynamics at each timestamp by temporally slicing the 4D Gaussians, which naturally compose dynamic 3D Gaussians and can be seamlessly projected into images. As an explicit spatial-temporal representation, 4DGS demonstrates powerful capabilities for modeling complicated dynamics and fine details, especially for scenes with abrupt motions. We further implement our temporal slicing and splatting techniques in a highly optimized CUDA acceleration framework, achieving real-time inference rendering speeds of up to 277 FPS on an RTX 3090 GPU and 583 FPS on an RTX 4090 GPU. Rigorous evaluations on scenes with diverse motions showcase the superior efficiency and effectiveness of 4DGS, which consistently outperforms existing methods both quantitatively and qualitatively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google