GeoSplatting: Towards Geometry Guided Gaussian Splatting for Physically-based Inverse Rendering

要約

3D ガウス スプラッティング (3DGS) 表現を使用して、物理ベースの逆レンダリングの問題を検討します。
最近の 3DGS 手法は、新規ビュー合成 (NVS) で目覚ましい結果を達成しましたが、高忠実度のジオメトリ、物理的に解釈可能なマテリアル、および照明を正確にキャプチャすることは依然として困難です。これは、物理ベースのレンダリングに加えて、正確な表面法線を提供するための正確なジオメトリ モデリングが必要であるためです (
PBR) 技術を使用して、マテリアルと照明のもつれを正しく解消します。
以前の 3DGS メソッドはサーフェス法線の近似に頼っていましたが、ノイズの多い局所ジオメトリに苦戦することが多く、不正確な法線推定と次善のマテリアル照明分解につながりました。
この論文では、明示的な幾何学的ガイダンスと微分可能な PBR 方程式で 3DGS を強化する新しいハイブリッド表現である GeoSplatting を紹介します。
具体的には、等値面と 3DGS を橋渡しします。最初にスカラー フィールドから等値面メッシュを抽出し、次にそれを 3DGS ポイントに変換し、完全微分可能な方法でそれらの PBR 方程式を定式化します。
GeoSplatting では、3DGS がメッシュ ジオメトリに基づいて行われるため、正確な表面法線モデリングが可能になり、マテリアル分解のための PBR フレームワークの使用が容易になります。
このアプローチにより、等値面から正確なジオメトリを確保しながら、3DGS からの NVS の効率と品質がさらに維持されます。
多様なデータセットにわたる包括的な評価により、GeoSplatting の優位性が実証され、量的および質的に既存の方法を常に上回っています。

要約(オリジナル)

We consider the problem of physically-based inverse rendering using 3D Gaussian Splatting (3DGS) representations. While recent 3DGS methods have achieved remarkable results in novel view synthesis (NVS), accurately capturing high-fidelity geometry, physically interpretable materials and lighting remains challenging, as it requires precise geometry modeling to provide accurate surface normals, along with physically-based rendering (PBR) techniques to ensure correct material and lighting disentanglement. Previous 3DGS methods resort to approximating surface normals, but often struggle with noisy local geometry, leading to inaccurate normal estimation and suboptimal material-lighting decomposition. In this paper, we introduce GeoSplatting, a novel hybrid representation that augments 3DGS with explicit geometric guidance and differentiable PBR equations. Specifically, we bridge isosurface and 3DGS together, where we first extract isosurface mesh from a scalar field, then convert it into 3DGS points and formulate PBR equations for them in a fully differentiable manner. In GeoSplatting, 3DGS is grounded on the mesh geometry, enabling precise surface normal modeling, which facilitates the use of PBR frameworks for material decomposition. This approach further maintains the efficiency and quality of NVS from 3DGS while ensuring accurate geometry from the isosurface. Comprehensive evaluations across diverse datasets demonstrate the superiority of GeoSplatting, consistently outperforming existing methods both quantitatively and qualitatively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google