GaussianPro: 3D Gaussian Splatting with Progressive Propagation

要約

最近、3D ガウス スプラッティング (3DGS) の出現により、ニューラル レンダリングの分野に革命が起こり、リアルタイムでの高品質のレンダリングが容易になりました。
ただし、3DGS は、Structure-from-Motion (SfM) 技術によって生成された初期化された点群に大きく依存します。
テクスチャのないサーフェスが必然的に含まれる大規模なシーンに取り組む場合、SfM 技術では常にこれらのサーフェスに十分なポイントを生成できず、3DGS に適切な初期化を提供できません。
その結果、3DGS は最適化が難しく、レンダリング品質が低下します。
この論文では、古典的なマルチビュー ステレオ (MVS) 技術に触発され、3D ガウス分布の高密度化を導くための漸進的伝播戦略を適用する新しい方法である GaussianPro を提案します。
3DGS で使用される単純な分割およびクローン戦略と比較して、私たちの方法では、シーンの既存の再構成されたジオメトリの事前分布とパッチ マッチング技術を利用して、正確な位置と方向をもつ新しいガウス分布を生成します。
大規模シーンと小規模シーンの両方での実験により、私たちの方法の有効性が検証され、私たちの方法は Waymo データセット上の 3DGS を大幅に上回り、PSNR に関して 1.15dB の改善が示されました。

要約(オリジナル)

The advent of 3D Gaussian Splatting (3DGS) has recently brought about a revolution in the field of neural rendering, facilitating high-quality renderings at real-time speed. However, 3DGS heavily depends on the initialized point cloud produced by Structure-from-Motion (SfM) techniques. When tackling with large-scale scenes that unavoidably contain texture-less surfaces, the SfM techniques always fail to produce enough points in these surfaces and cannot provide good initialization for 3DGS. As a result, 3DGS suffers from difficult optimization and low-quality renderings. In this paper, inspired by classical multi-view stereo (MVS) techniques, we propose GaussianPro, a novel method that applies a progressive propagation strategy to guide the densification of the 3D Gaussians. Compared to the simple split and clone strategies used in 3DGS, our method leverages the priors of the existing reconstructed geometries of the scene and patch matching techniques to produce new Gaussians with accurate positions and orientations. Experiments on both large-scale and small-scale scenes validate the effectiveness of our method, where our method significantly surpasses 3DGS on the Waymo dataset, exhibiting an improvement of 1.15dB in terms of PSNR.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google