Speedy Deformable 3D Gaussian Splatting: Fast Rendering and Compression of Dynamic Scenes

要約

3Dガウススプラッティング（3DG）の最近の拡張は、ニューラルネットワークを使用して各ガウスの時変変形を予測することにより、高品質の新規ビュー合成を実現します。
ただし、すべてのフレームでガウスごとの神経推論を実行すると、重要なボトルネックがもたらされ、レンダリング速度が制限され、メモリと計算要件が増加します。
この論文では、2つの相補的手法を通じて神経推論を減らすことにより、動的3DGと4DGS表現のレンダリング速度を加速するための一般的なパイプラインである、スピーディーな変形可能な3Dガウススプラッティング（Speede3DGS）を提示します。
まず、動的シーンの再構築に貢献していないガウス人を識別および除去する時間感度剪定スコアを提案します。
また、不正確なカメラのポーズを使用して、実際のシーンで剪定の堅牢性を向上させるアニーリングスムーズな剪定メカニズムを導入します。
第二に、軌道の類似性によってガウス人をクラスターするモーション分析手法であるGroupFlowを提案し、各ガウスの個別の変形ではなく、グループごとに単一の剛性変換を予測します。
一緒に、当社のテクニックは、$ 10.37 \ Times $のレンダリングを加速し、モデルサイズを$ 7.71 \ Times $に削減し、NERF-DSデータセットで$ 2.71 \ Times $を短縮します。
Speede3DGSは、d-nerfおよびhypernerf vrigデータセットで$ 4.20 \ times $と$ 58.23 \ times $のレンダリング速度も向上します。
私たちの方法はモジュール式であり、変形可能な3DGまたは4DGSフレームワークに統合できます。

要約(オリジナル)

Recent extensions of 3D Gaussian Splatting (3DGS) to dynamic scenes achieve high-quality novel view synthesis by using neural networks to predict the time-varying deformation of each Gaussian. However, performing per-Gaussian neural inference at every frame poses a significant bottleneck, limiting rendering speed and increasing memory and compute requirements. In this paper, we present Speedy Deformable 3D Gaussian Splatting (SpeeDe3DGS), a general pipeline for accelerating the rendering speed of dynamic 3DGS and 4DGS representations by reducing neural inference through two complementary techniques. First, we propose a temporal sensitivity pruning score that identifies and removes Gaussians with low contribution to the dynamic scene reconstruction. We also introduce an annealing smooth pruning mechanism that improves pruning robustness in real-world scenes with imprecise camera poses. Second, we propose GroupFlow, a motion analysis technique that clusters Gaussians by trajectory similarity and predicts a single rigid transformation per group instead of separate deformations for each Gaussian. Together, our techniques accelerate rendering by $10.37\times$, reduce model size by $7.71\times$, and shorten training time by $2.71\times$ on the NeRF-DS dataset. SpeeDe3DGS also improves rendering speed by $4.20\times$ and $58.23\times$ on the D-NeRF and HyperNeRF vrig datasets. Our methods are modular and can be integrated into any deformable 3DGS or 4DGS framework.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google