3DGS-to-PC: Convert a 3D Gaussian Splatting Scene into a Dense Point Cloud or Mesh

要約

3D ガウス スプラッティング (3DGS) は、非常に詳細な 3D 再構成の生成に優れていますが、これらのシーンでは効果的な視覚化のために特殊なレンダラーが必要になることがよくあります。
対照的に、点群は広く使用されている 3D 表現であり、最も一般的な 3D 処理ソフトウェアと互換性がありますが、3DGS シーンを点群に変換するのは複雑な課題です。
この作業では、3DGS シーンを高密度で高精度の点群に変換できる、柔軟で高度にカスタマイズ可能なフレームワークである 3DGS-to-PC を紹介します。
3D 密度関数として各ガウスから確率的に点をサンプリングします。
さらに、ガウス中心までのマハラノビス距離を使用して新しいポイントのしきい値を設定し、極端な外れ値を防ぎます。
その結果、3D ガウス シーンにエンコードされた形状を厳密に表す点群が得られます。
個々のガウス分布は球面調和関数を使用してビューに応じて色を調整します。各点は、結果としてレンダリングされるシーンに微妙な色のヒントのみを提供します。
最終的な点群に適合しない偽の色や不正確な色を避けるために、カスタマイズされたイメージ レンダリング アプローチを通じてガウス カラーを再計算し、すべてのビューで最も寄与するピクセルの色を各ガウスに割り当てます。
3DGS-to-PC は、予測された表面ガウスからサンプリングされた点に適用されるポアソン表面再構成によるメッシュ生成もサポートしています。
これにより、再トレーニングを必要とせずに、3DGS シーンからカラー メッシュを生成できます。
このパッケージは高度にカスタマイズ可能であり、既存の 3DGS パイプラインに簡単に統合できます。
3DGS-to-PC は、3DGS データを点群および面ベースの形式に変換するための強力なツールを提供します。

要約(オリジナル)

3D Gaussian Splatting (3DGS) excels at producing highly detailed 3D reconstructions, but these scenes often require specialised renderers for effective visualisation. In contrast, point clouds are a widely used 3D representation and are compatible with most popular 3D processing software, yet converting 3DGS scenes into point clouds is a complex challenge. In this work we introduce 3DGS-to-PC, a flexible and highly customisable framework that is capable of transforming 3DGS scenes into dense, high-accuracy point clouds. We sample points probabilistically from each Gaussian as a 3D density function. We additionally threshold new points using the Mahalanobis distance to the Gaussian centre, preventing extreme outliers. The result is a point cloud that closely represents the shape encoded into the 3D Gaussian scene. Individual Gaussians use spherical harmonics to adapt colours depending on view, and each point may contribute only subtle colour hints to the resulting rendered scene. To avoid spurious or incorrect colours that do not fit with the final point cloud, we recalculate Gaussian colours via a customised image rendering approach, assigning each Gaussian the colour of the pixel to which it contributes most across all views. 3DGS-to-PC also supports mesh generation through Poisson Surface Reconstruction, applied to points sampled from predicted surface Gaussians. This allows coloured meshes to be generated from 3DGS scenes without the need for re-training. This package is highly customisable and capability of simple integration into existing 3DGS pipelines. 3DGS-to-PC provides a powerful tool for converting 3DGS data into point cloud and surface-based formats.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google