MVG-Splatting: Multi-View Guided Gaussian Splatting with Adaptive Quantile-Based Geometric Consistency Densification

要約

急速に進化する 3D 再構成の分野では、3D ガウス スプラッティング (3DGS) と 2D ガウス スプラッティング (2DGS) が大幅な進歩を遂げています。
2DGS は 3D ガウス プリミティブを 2D ガウス サーフェルに圧縮してメッシュ抽出品質を効果的に高めますが、この圧縮は潜在的にレンダリング品質の低下につながる可能性があります。
さらに、信頼性の低い高密度化プロセスや不透明度の蓄積による深度の計算により、メッシュ抽出の詳細が損なわれる可能性があります。
この問題に対処するために、マルチビューの考慮事項に基づいたソリューションである MVG-Splatting を導入します。
具体的には、法線を計算するための最適化された方法を統合し、画像の勾配と組み合わせることで、元の深度計算の不一致を修正します。
さらに、マルチビュー ステレオ (MVS) と同様の投影戦略を利用して、粗いものから細かいものまで、深度マップに基づいて追加の高密度化のレベルを動的に決定する、適応的な分位数ベースの方法を提案します。
実験的証拠は、私たちの方法が深さの不一致によって引き起こされるレンダリング品質の低下の問題を解決するだけでなく、マーチングキューブアルゴリズムを使用して密なガウス点群からの直接メッシュ抽出を容易にすることを示しています。
このアプローチにより、3D 再構成プロセスの全体的な忠実性と精度が大幅に向上し、幾何学的詳細と視覚的品質の両方が保証されます。

要約(オリジナル)

In the rapidly evolving field of 3D reconstruction, 3D Gaussian Splatting (3DGS) and 2D Gaussian Splatting (2DGS) represent significant advancements. Although 2DGS compresses 3D Gaussian primitives into 2D Gaussian surfels to effectively enhance mesh extraction quality, this compression can potentially lead to a decrease in rendering quality. Additionally, unreliable densification processes and the calculation of depth through the accumulation of opacity can compromise the detail of mesh extraction. To address this issue, we introduce MVG-Splatting, a solution guided by Multi-View considerations. Specifically, we integrate an optimized method for calculating normals, which, combined with image gradients, helps rectify inconsistencies in the original depth computations. Additionally, utilizing projection strategies akin to those in Multi-View Stereo (MVS), we propose an adaptive quantile-based method that dynamically determines the level of additional densification guided by depth maps, from coarse to fine detail. Experimental evidence demonstrates that our method not only resolves the issues of rendering quality degradation caused by depth discrepancies but also facilitates direct mesh extraction from dense Gaussian point clouds using the Marching Cubes algorithm. This approach significantly enhances the overall fidelity and accuracy of the 3D reconstruction process, ensuring that both the geometric details and visual quality.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google