PGSR: Planar-based Gaussian Splatting for Efficient and High-Fidelity Surface Reconstruction

要約

最近、3D ガウス スプラッティング (3DGS) は、その高品質なレンダリング、超高速のトレーニングおよびレンダリング速度により広く注目を集めています。
ただし、ガウス点群は非構造的で不規則な性質があるため、画像再構成損失に依存するだけでは、幾何学的再構成精度と多視点の一貫性を保証することは困難です。
最近、3DGS に基づく表面再構成に関する多くの研究が発表されていますが、そのメッシュの品質は一般的に満足のいくものではありません。
この問題に対処するために、高品質のレンダリングを保証しながら高忠実度の表面再構成を実現する、高速平面ベースのガウス スプラッティング再構成表現 (PGSR) を提案します。
具体的には、まず不偏深度レンダリング法を導入します。この方法では、点群のガウス分布に基づいてカメラ原点からガウス平面までの距離と対応する法線マップを直接レンダリングし、その 2 つを除算して不偏深度を取得します。
次に、グローバルな幾何学的精度を維持するために、シングルビュー幾何学、マルチビュー測光、および幾何学的正則化を導入します。
また、照明変化が大きいシーンに対応するカメラ露出補正モデルも提案します。
屋内および屋外のシーンでの実験では、私たちの方法が高忠実度のレンダリングと幾何学的再構成を維持しながら高速トレーニングとレンダリングを実現し、3DGS ベースおよび NeRF ベースの方法よりも優れていることが示されています。

要約(オリジナル)

Recently, 3D Gaussian Splatting (3DGS) has attracted widespread attention due to its high-quality rendering, and ultra-fast training and rendering speed. However, due to the unstructured and irregular nature of Gaussian point clouds, it is difficult to guarantee geometric reconstruction accuracy and multi-view consistency simply by relying on image reconstruction loss. Although many studies on surface reconstruction based on 3DGS have emerged recently, the quality of their meshes is generally unsatisfactory. To address this problem, we propose a fast planar-based Gaussian splatting reconstruction representation (PGSR) to achieve high-fidelity surface reconstruction while ensuring high-quality rendering. Specifically, we first introduce an unbiased depth rendering method, which directly renders the distance from the camera origin to the Gaussian plane and the corresponding normal map based on the Gaussian distribution of the point cloud, and divides the two to obtain the unbiased depth. We then introduce single-view geometric, multi-view photometric, and geometric regularization to preserve global geometric accuracy. We also propose a camera exposure compensation model to cope with scenes with large illumination variations. Experiments on indoor and outdoor scenes show that our method achieves fast training and rendering while maintaining high-fidelity rendering and geometric reconstruction, outperforming 3DGS-based and NeRF-based methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google