Gaussian Opacity Fields: Efficient and Compact Surface Reconstruction in Unbounded Scenes

要約

最近、3D ガウス スプラッティング (3DGS) は、リアルタイムでの高解像度画像のレンダリングを可能にしながら、印象的な斬新なビュー合成結果を実証しました。
ただし、3D ガウスを表面再構築に利用することは、3D ガウスの明示的で切り離された性質により、重大な課題を引き起こします。
この研究では、境界のないシーンで効率的、高品質、コンパクトな表面再構築のための新しいアプローチであるガウス不透明度フィールド (GOF) を紹介します。
私たちの GOF は 3D ガウスのレイ トレーシング ベースのボリューム レンダリングから派生しており、以前の研究のようにポアソン再構成や TSDF 融合に頼ることなく、レベルセットを識別することによって 3D ガウスから直接ジオメトリを抽出できます。
ガウスの表面法線を光線とガウスの交差面の法線として近似し、ジオメトリを大幅に強化する正則化の適用を可能にします。
さらに、マーチング四面体を利用した効率的なジオメトリ抽出方法を開発します。この方法では、四面体グリッドが 3D ガウスから誘導され、シーンの複雑さに適応します。
私たちの評価では、GOF が表面の再構成と新しいビューの合成において既存の 3DGS ベースの手法を上回っていることが明らかになりました。
さらに、品質と速度の両方において、ニューラル陰的解法と同等か、それを上回るパフォーマンスを発揮します。

要約(オリジナル)

Recently, 3D Gaussian Splatting (3DGS) has demonstrated impressive novel view synthesis results, while allowing the rendering of high-resolution images in real-time. However, leveraging 3D Gaussians for surface reconstruction poses significant challenges due to the explicit and disconnected nature of 3D Gaussians. In this work, we present Gaussian Opacity Fields (GOF), a novel approach for efficient, high-quality, and compact surface reconstruction in unbounded scenes. Our GOF is derived from ray-tracing-based volume rendering of 3D Gaussians, enabling direct geometry extraction from 3D Gaussians by identifying its levelset, without resorting to Poisson reconstruction or TSDF fusion as in previous work. We approximate the surface normal of Gaussians as the normal of the ray-Gaussian intersection plane, enabling the application of regularization that significantly enhances geometry. Furthermore, we develop an efficient geometry extraction method utilizing marching tetrahedra, where the tetrahedral grids are induced from 3D Gaussians and thus adapt to the scene’s complexity. Our evaluations reveal that GOF surpasses existing 3DGS-based methods in surface reconstruction and novel view synthesis. Further, it compares favorably to, or even outperforms, neural implicit methods in both quality and speed.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google