Optimal Projection for 3D Gaussian Splatting

要約

3Dガウススプラッティングは、リアルタイムのニューラルレンダリングにおいて広く注目され、応用されている。同時に、点群ストレージ、パフォーマンス、疎な視点でのロバスト性などの側面におけるこの技術の限界について懸念が提起され、さまざまな改良が行われてきた。しかし、スプラッティング自体に内在する局所的なアフィン近似によってもたらされる投影誤差や、これらの誤差がフォトリアリスティックレンダリングの品質に及ぼす結果的な影響については、注目されてこなかった。本論文では、3Dガウススプラッティングの投影誤差関数を取り上げ、投影関数$phi$の一次テイラー展開からの残留誤差から始める。解析により、誤差とガウス平均位置の相関を確立する。その後、関数最適化理論を活用し、本論文は関数の極小値を解析し、Optimal Gaussian Splattingと呼ばれるガウシアンスプラッティングの最適投影戦略を提供する。実験的検証により、この投影法がアーチファクトを低減し、より説得力のあるリアルなレンダリングをもたらすことがさらに確認された。

要約(オリジナル)

3D Gaussian Splatting has garnered extensive attention and application in real-time neural rendering. Concurrently, concerns have been raised about the limitations of this technology in aspects such as point cloud storage, performance , and robustness in sparse viewpoints , leading to various improvements. However, there has been a notable lack of attention to the projection errors introduced by the local affine approximation inherent in the splatting itself, and the consequential impact of these errors on the quality of photo-realistic rendering. This paper addresses the projection error function of 3D Gaussian Splatting, commencing with the residual error from the first-order Taylor expansion of the projection function $\phi$. The analysis establishes a correlation between the error and the Gaussian mean position. Subsequently, leveraging function optimization theory, this paper analyzes the function’s minima to provide an optimal projection strategy for Gaussian Splatting referred to Optimal Gaussian Splatting. Experimental validation further confirms that this projection methodology reduces artifacts, resulting in a more convincingly realistic rendering.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL