GeoSplatting: Towards Geometry Guided Gaussian Splatting for Physically-based Inverse Rendering

要約

我々は、3Dガウス・スプラッティング（3DGS）表現を用いた物理ベースの逆レンダリングの問題を考察する。最近の3DGS手法は、ノベルビュー合成（NVS）において目覚ましい成果を上げているが、高忠実度のジオメトリ、物理的に解釈可能なマテリアル、ライティングを正確にキャプチャすることは依然として困難であり、正確なサーフェス法線を提供するための正確なジオメトリモデリングと、マテリアルとライティングの正しい分離を保証する物理ベースレンダリング（PBR）技術が必要である。これまでの3DGS手法は、サーフェス法線の近似に頼っていましたが、ノイズの多いローカルジオメトリに苦戦することが多く、不正確な法線推定や最適とは言えないマテリアルとライティングの分解につながります。本論文では、明示的なジオメトリガイドと微分可能なPBR方程式で3DGSを補強する新しいハイブリッド表現であるGeoSplattingを紹介する。具体的には、まずスカラーフィールドから等値面メッシュを抽出し、それを3DGSポイントに変換し、完全微分可能な方法でそれらのPBR方程式を定式化する。GeoSplattingでは、3DGSはメッシュ形状に基づき、正確なサーフェス法線モデリングを可能にし、材料分解のためのPBRフレームワークの使用を容易にします。このアプローチは、等値面からの正確なジオメトリを確保しながら、3DGSからのNVSの効率と品質をさらに維持します。多様なデータセットにわたる包括的な評価により、GeoSplattingの優位性が実証され、定量的にも定性的にも一貫して既存の手法を上回っています。

要約(オリジナル)

We consider the problem of physically-based inverse rendering using 3D Gaussian Splatting (3DGS) representations. While recent 3DGS methods have achieved remarkable results in novel view synthesis (NVS), accurately capturing high-fidelity geometry, physically interpretable materials and lighting remains challenging, as it requires precise geometry modeling to provide accurate surface normals, along with physically-based rendering (PBR) techniques to ensure correct material and lighting disentanglement. Previous 3DGS methods resort to approximating surface normals, but often struggle with noisy local geometry, leading to inaccurate normal estimation and suboptimal material-lighting decomposition. In this paper, we introduce GeoSplatting, a novel hybrid representation that augments 3DGS with explicit geometric guidance and differentiable PBR equations. Specifically, we bridge isosurface and 3DGS together, where we first extract isosurface mesh from a scalar field, then convert it into 3DGS points and formulate PBR equations for them in a fully differentiable manner. In GeoSplatting, 3DGS is grounded on the mesh geometry, enabling precise surface normal modeling, which facilitates the use of PBR frameworks for material decomposition. This approach further maintains the efficiency and quality of NVS from 3DGS while ensuring accurate geometry from the isosurface. Comprehensive evaluations across diverse datasets demonstrate the superiority of GeoSplatting, consistently outperforming existing methods both quantitatively and qualitatively.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL