Does 3D Gaussian Splatting Need Accurate Volumetric Rendering?

要約

導入以来、3Dガウススプラッティング（3DG）は、キャプチャされたシーンの3D表現を学習するための重要な参照方法となり、視覚的な品質と速いトレーニング時間を備えたリアルタイムの小説合成を可能にします。
3DGSに先行するニューラル放射輝度（NERF）は、体積レンダリングのための原則的な光線監督アプローチに基づいています。
対照的に、同様の画像形成モデルをNERFと共有している間、3DGSは、ボリュームレンダリングとプリミティブラスター化の強度に基づいたハイブリッドレンダリングソリューションを使用します。
3DGSの重要な利点は、多くの場合、ボリュームレンダリング理論に関して、一連の近似を通じて達成されるパフォーマンスです。
自然に発生する質問は、これらの近似をより原則的なボリュームレンダリングソリューションに置き換えることで、3DGの品質を改善できるかどうかです。
この論文では、元の3DGSソリューションで使用されているさまざまな近似と仮定の詳細な分析を示します。
より正確なボリュームレンダリングは少数のプリミティブに役立つが、効率的な最適化の力と多数のガウス人により、3DGがその近似にもかかわらず体積レンダリングを上回ることができることを実証します。

要約(オリジナル)

Since its introduction, 3D Gaussian Splatting (3DGS) has become an important reference method for learning 3D representations of a captured scene, allowing real-time novel-view synthesis with high visual quality and fast training times. Neural Radiance Fields (NeRFs), which preceded 3DGS, are based on a principled ray-marching approach for volumetric rendering. In contrast, while sharing a similar image formation model with NeRF, 3DGS uses a hybrid rendering solution that builds on the strengths of volume rendering and primitive rasterization. A crucial benefit of 3DGS is its performance, achieved through a set of approximations, in many cases with respect to volumetric rendering theory. A naturally arising question is whether replacing these approximations with more principled volumetric rendering solutions can improve the quality of 3DGS. In this paper, we present an in-depth analysis of the various approximations and assumptions used by the original 3DGS solution. We demonstrate that, while more accurate volumetric rendering can help for low numbers of primitives, the power of efficient optimization and the large number of Gaussians allows 3DGS to outperform volumetric rendering despite its approximations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google