MEGA: Memory-Efficient 4D Gaussian Splatting for Dynamic Scenes

要約

4D ガウス スプラッティング (4DGS) は、複雑でダイナミックな 3D シーンを高忠実度でキャプチャするための有望な技術として最近登場しました。
4D ガウス表現と GPU に適したラスタライザーを利用し、高速なレンダリング速度を可能にします。
4DGS はその利点にもかかわらず、重大な課題に直面しています。特に、それぞれが広範な関連属性を持つ数百万の 4D ガウシアンが必要であり、メモリとストレージのコストが大幅に増加します。
このペーパーでは、4DGS 用のメモリ効率の高いフレームワークを紹介します。
色属性を、わずか 3 つのパラメーターと共有の軽量交流色予測子を持つガウスごとの直接色コンポーネントに分解することで、色属性を合理化します。
このアプローチにより、従来の 4DGS では通常最大 144 個のパラメーターが必要となる球面調和係数の必要性がなくなり、メモリ効率の高い 4D ガウス表現が作成されます。
さらに、変形フィールドを使用して各ガウスの動作範囲を拡大し、不透明度ベースのエントロピー損失を統合してガウスの数を制限する、エントロピー制約付きガウス変形手法を導入します。これにより、モデルにできるだけ少ないガウスを使用するように強制します。
ダイナミックなシーンによく合います。
シンプルな半精度ストレージと zip 圧縮により、私たちのフレームワークは、元の 4DGS と比較して、テクニカラー データセットとニューラル 3D ビデオ データセットでそれぞれ約 190$\times$ と 125$\times$ のストレージ削減を達成します。
同時に、同等のレンダリング速度とシーン表現の品質を維持し、この分野で新たな標準を確立します。

要約(オリジナル)

4D Gaussian Splatting (4DGS) has recently emerged as a promising technique for capturing complex dynamic 3D scenes with high fidelity. It utilizes a 4D Gaussian representation and a GPU-friendly rasterizer, enabling rapid rendering speeds. Despite its advantages, 4DGS faces significant challenges, notably the requirement of millions of 4D Gaussians, each with extensive associated attributes, leading to substantial memory and storage cost. This paper introduces a memory-efficient framework for 4DGS. We streamline the color attribute by decomposing it into a per-Gaussian direct color component with only 3 parameters and a shared lightweight alternating current color predictor. This approach eliminates the need for spherical harmonics coefficients, which typically involve up to 144 parameters in classic 4DGS, thereby creating a memory-efficient 4D Gaussian representation. Furthermore, we introduce an entropy-constrained Gaussian deformation technique that uses a deformation field to expand the action range of each Gaussian and integrates an opacity-based entropy loss to limit the number of Gaussians, thus forcing our model to use as few Gaussians as possible to fit a dynamic scene well. With simple half-precision storage and zip compression, our framework achieves a storage reduction by approximately 190$\times$ and 125$\times$ on the Technicolor and Neural 3D Video datasets, respectively, compared to the original 4DGS. Meanwhile, it maintains comparable rendering speeds and scene representation quality, setting a new standard in the field.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google