GES: Generalized Exponential Splatting for Efficient Radiance Field Rendering

要約

3D ガウス スプラッティングの進歩により、3D の再構築と生成が大幅に加速されました。
ただし、大量のガウス分布が必要になる場合があり、かなりのメモリ フットプリントが作成されます。
この論文では、3D シーンをモデル化するために一般化指数関数 (GEF) を使用する新しい表現である GES (一般化指数関数的スプラッティング) を紹介します。これにより、シーンを表現するために必要なパーティクルがはるかに少なくなり、プラグ アンド プレイによる効率においてガウス スプラッティング手法を大幅に上回ります。
ガウスベースのユーティリティの代替機能。
GES は、原則に基づいた 1D セットアップと現実的な 3D シーンの両方で理論的および経験的に検証されています。
鋭いエッジを持つ信号をより正確に表現できることが示されていますが、固有のローパス特性によりガウス関数では通常困難です。
私たちの経験的分析は、GEF が自然に発生する信号 (四角形、三角形、放物線信号など) のフィッティングにおいてガウス関数より優れていることを示しており、それにより、ガウス スプラッティングのメモリ フットプリントを増加させる大規模な分割操作の必要性が軽減されます。
周波数変調損失の助けにより、GES は、ガウス スプラッティングの半分未満のメモリ ストレージを必要とし、レンダリング速度を最大 39% 向上させながら、ノベルビュー合成ベンチマークで競争力のあるパフォーマンスを達成します。
コードはプロジェクト Web サイト https://abdullahamdi.com/ges で入手できます。

要約(オリジナル)

Advancements in 3D Gaussian Splatting have significantly accelerated 3D reconstruction and generation. However, it may require a large number of Gaussians, which creates a substantial memory footprint. This paper introduces GES (Generalized Exponential Splatting), a novel representation that employs Generalized Exponential Function (GEF) to model 3D scenes, requiring far fewer particles to represent a scene and thus significantly outperforming Gaussian Splatting methods in efficiency with a plug-and-play replacement ability for Gaussian-based utilities. GES is validated theoretically and empirically in both principled 1D setup and realistic 3D scenes. It is shown to represent signals with sharp edges more accurately, which are typically challenging for Gaussians due to their inherent low-pass characteristics. Our empirical analysis demonstrates that GEF outperforms Gaussians in fitting natural-occurring signals (e.g. squares, triangles, and parabolic signals), thereby reducing the need for extensive splitting operations that increase the memory footprint of Gaussian Splatting. With the aid of a frequency-modulated loss, GES achieves competitive performance in novel-view synthesis benchmarks while requiring less than half the memory storage of Gaussian Splatting and increasing the rendering speed by up to 39%. The code is available on the project website https://abdullahamdi.com/ges .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google