3DGSR: Implicit Surface Reconstruction with 3D Gaussian Splatting

要約

この論文では、3D ガウス スプラッティング (3DGS) を使用した陰的表面再構成手法、つまり 3DGSR を紹介します。これにより、3DGS の高効率とレンダリング品質を継承しながら、複雑な詳細を含む正確な 3D 再構成が可能になります。
重要な洞察は、3D ガウス分布に暗黙的な符号付き距離場 (SDF) を組み込んで、それらを位置合わせして共同で最適化できるようにすることです。
まず、SDF 値を対応するガウスの不透明度に変換する、微分可能な SDF から不透明度への変換関数を導入します。
この関数は SDF と 3D ガウスを接続し、統合された最適化を可能にし、3D ガウスに表面制約を適用します。
学習中に 3D ガウスを最適化することで SDF 学習に監視信号が提供され、複雑な詳細の再構築が可能になります。
ただし、これはガウス分布が占める場所で SDF にまばらな監視信号を提供するだけであり、継続的な SDF を学習するには不十分です。
次に、この制限に対処するために、ボリューム レンダリングを組み込み、レンダリングされた幾何学的属性 (深さ、法線) を 3D ガウスから得られた属性と位置合わせします。
この一貫性の正則化により、離散 3D ガウスでカバーされない位置に監視信号が導入され、ガウス サンプリング範囲外の冗長な表面が効果的に排除されます。
当社の広範な実験結果は、当社の 3DGSR 手法が 3DGS の効率とレンダリング品質を維持しながら、高品質の 3D 表面再構成を可能にすることを実証しています。
さらに、私たちの方法は、より効率的な学習プロセスとはるかに優れたレンダリング品質を提供しながら、主要な表面再構成技術と有利に競合します。
コードは https://github.com/CVMI-Lab/3DGSR で入手できます。

要約(オリジナル)

In this paper, we present an implicit surface reconstruction method with 3D Gaussian Splatting (3DGS), namely 3DGSR, that allows for accurate 3D reconstruction with intricate details while inheriting the high efficiency and rendering quality of 3DGS. The key insight is incorporating an implicit signed distance field (SDF) within 3D Gaussians to enable them to be aligned and jointly optimized. First, we introduce a differentiable SDF-to-opacity transformation function that converts SDF values into corresponding Gaussians’ opacities. This function connects the SDF and 3D Gaussians, allowing for unified optimization and enforcing surface constraints on the 3D Gaussians. During learning, optimizing the 3D Gaussians provides supervisory signals for SDF learning, enabling the reconstruction of intricate details. However, this only provides sparse supervisory signals to the SDF at locations occupied by Gaussians, which is insufficient for learning a continuous SDF. Then, to address this limitation, we incorporate volumetric rendering and align the rendered geometric attributes (depth, normal) with those derived from 3D Gaussians. This consistency regularization introduces supervisory signals to locations not covered by discrete 3D Gaussians, effectively eliminating redundant surfaces outside the Gaussian sampling range. Our extensive experimental results demonstrate that our 3DGSR method enables high-quality 3D surface reconstruction while preserving the efficiency and rendering quality of 3DGS. Besides, our method competes favorably with leading surface reconstruction techniques while offering a more efficient learning process and much better rendering qualities. The code will be available at https://github.com/CVMI-Lab/3DGSR.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google