Hybrid 3D-4D Gaussian Splatting for Fast Dynamic Scene Representation

要約

動的な3Dシーンの再構築における最近の進歩により、有望な結果が示されており、時間的一貫性が改善された高忠実度の3D新規ビュー合成を可能にします。
これらの中で、4Dガウスの飛び散（4DG）は、高忠実度の空間的および時間的変動をモデル化する能力により、魅力的なアプローチとして浮上しています。
ただし、既存の方法は、4Dガウスの静的領域への冗長な割り当てにより、かなりの計算およびメモリオーバーヘッドに悩まされており、画質も低下させる可能性があります。
この作業では、ハイブリッド3D-4Dガウススプラッティング（3D-4DGS）を紹介します。これは、ダイナミックエレメントのために4Dガウス系を予約しながら、3Dガウスの静的領域を適応的に表す新しいフレームワークです。
私たちの方法は、完全に4Dガウス表現から始まり、一時的に不変のガウス人を3Dに繰り返し変換し、パラメーターの数を大幅に削減し、計算効率を改善します。
一方、ダイナミックなガウス人は完全な4D表現を保持し、高い忠実度を備えた複雑な動きをキャプチャします。
私たちのアプローチは、視覚品質を維持または改善しながら、ベースライン4Dガウスのスプラット方法と比較して、トレーニング時間が大幅に速く達成されます。

要約(オリジナル)

Recent advancements in dynamic 3D scene reconstruction have shown promising results, enabling high-fidelity 3D novel view synthesis with improved temporal consistency. Among these, 4D Gaussian Splatting (4DGS) has emerged as an appealing approach due to its ability to model high-fidelity spatial and temporal variations. However, existing methods suffer from substantial computational and memory overhead due to the redundant allocation of 4D Gaussians to static regions, which can also degrade image quality. In this work, we introduce hybrid 3D-4D Gaussian Splatting (3D-4DGS), a novel framework that adaptively represents static regions with 3D Gaussians while reserving 4D Gaussians for dynamic elements. Our method begins with a fully 4D Gaussian representation and iteratively converts temporally invariant Gaussians into 3D, significantly reducing the number of parameters and improving computational efficiency. Meanwhile, dynamic Gaussians retain their full 4D representation, capturing complex motions with high fidelity. Our approach achieves significantly faster training times compared to baseline 4D Gaussian Splatting methods while maintaining or improving the visual quality.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google