4D Gaussian Splatting for Real-Time Dynamic Scene Rendering

要約

動的なシーンを表現してレンダリングすることは重要ですが、困難な作業です。
特に、複雑な動作を正確にモデル化するには、通常、高い効率を維持することが困難です。
4D ガウス スプラッティング (4D-GS) を導入して、リアルタイムのダイナミック シーン レンダリングを実現しながら、高いトレーニングとストレージ効率を実現します。
ガウス運動と形状変形の両方をモデル化するために、効率的な変形フィールドが構築されます。
異なる隣接するガウスは HexPlane を介して接続され、より正確な位置と形状の変形が生成されます。
当社の 4D-GS メソッドは、RTX 3090 GPU で 800$\times$800 の解像度で 70 FPS という高解像度でのリアルタイム レンダリングを実現しながら、以前の最先端のメソッドと同等以上の品質を維持します。
その他のデモとコードは https://guanjunwu.github.io/4dgs/ で入手できます。

要約(オリジナル)

Representing and rendering dynamic scenes has been an important but challenging task. Especially, to accurately model complex motions, high efficiency is usually hard to maintain. We introduce the 4D Gaussian Splatting (4D-GS) to achieve real-time dynamic scene rendering while also enjoying high training and storage efficiency. An efficient deformation field is constructed to model both Gaussian motions and shape deformations. Different adjacent Gaussians are connected via a HexPlane to produce more accurate position and shape deformations. Our 4D-GS method achieves real-time rendering under high resolutions, 70 FPS at a 800$\times$800 resolution on an RTX 3090 GPU, while maintaining comparable or higher quality than previous state-of-the-art methods. More demos and code are available at https://guanjunwu.github.io/4dgs/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google