1000+ FPS 4D Gaussian Splatting for Dynamic Scene Rendering

要約

4D Gaussian Splatting（4DGS）は、最近、動的シーンを再構築する方法としてかなりの注目を集めています。
優れた品質を達成したにもかかわらず、4DGは通常、かなりの保管を必要とし、レンダリング速度が遅くなります。
この作業では、これらの問題を掘り下げ、時間的冗長性の2つの重要なソースを特定します。
（q1）\ textbf {short-lifespan gaussians}：4DGSは、短い時間スパンのガウスの大部分を使用してシーンのダイナミクスを表し、過剰な数のガウス人につながります。
（q2）\ textbf {inactive gaussians}：レンダリングするとき、ガウスの小さなサブセットのみが各フレームに貢献します。
それにもかかわらず、すべてのガウス人はラスター化中に処理され、その結果、冗長な計算オーバーヘッドが生じます。
これらの冗長性に対処するために、最新のGPUで1000 fpsを超える\ textbf {4dgs-1k}を提示します。
Q1の場合、空間的変動スコアを導入します。これは、短幅のガウス人を効果的に除去しながら、より長い時間スパンのガウスを使用してシーンのダイナミクスをキャプチャするように4DGを奨励する新しい剪定基準です。
Q2の場合、連続したフレームにわたってアクティブなガウスのマスクを保存し、レンダリングの冗長計算を大幅に削減します。
Vanilla 4DGSと比較して、当社の方法では、$ 41 \ Times Storageの削減と、複雑な動的シーンでのラスター化速度が9ドル削減され、同等の視覚品質を維持します。
https://4dgs-1k.github.ioのプロジェクトページをご覧ください。

要約(オリジナル)

4D Gaussian Splatting (4DGS) has recently gained considerable attention as a method for reconstructing dynamic scenes. Despite achieving superior quality, 4DGS typically requires substantial storage and suffers from slow rendering speed. In this work, we delve into these issues and identify two key sources of temporal redundancy. (Q1) \textbf{Short-Lifespan Gaussians}: 4DGS uses a large portion of Gaussians with short temporal span to represent scene dynamics, leading to an excessive number of Gaussians. (Q2) \textbf{Inactive Gaussians}: When rendering, only a small subset of Gaussians contributes to each frame. Despite this, all Gaussians are processed during rasterization, resulting in redundant computation overhead. To address these redundancies, we present \textbf{4DGS-1K}, which runs at over 1000 FPS on modern GPUs. For Q1, we introduce the Spatial-Temporal Variation Score, a new pruning criterion that effectively removes short-lifespan Gaussians while encouraging 4DGS to capture scene dynamics using Gaussians with longer temporal spans. For Q2, we store a mask for active Gaussians across consecutive frames, significantly reducing redundant computations in rendering. Compared to vanilla 4DGS, our method achieves a $41\times$ reduction in storage and $9\times$ faster rasterization speed on complex dynamic scenes, while maintaining comparable visual quality. Please see our project page at https://4DGS-1K.github.io.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google