MGS-SLAM: Monocular Sparse Tracking and Gaussian Mapping with Depth Smooth Regularization

要約

このレターでは、ガウス スプラッティングに基づく高密度視覚同時位置特定およびマッピング (VSLAM) のための新しいフレームワークを紹介します。
最近、ガウス スプラッティングに基づく SLAM が有望な結果を示しています。
ただし、単眼シナリオでは、再構築されたガウス マップは幾何学的精度に欠け、追跡能力が弱くなります。
これらの制限に対処するために、スパース視覚オドメトリ トラッキングと 3D ガウス スプラッティング シーン表現を初めて共同で最適化しました。
ガウス マップの幾何学的監視のための高速マルチビュー ステレオ (MVS) ネットワークを使用して、ビジュアル オドメトリ キーフレーム ウィンドウで深度マップを取得します。
さらに、推定された深度マップの悪影響を軽減し、ビジュアルオドメトリとガウスマップ間のスケールの一貫性を維持するために、深度の平滑損失と疎密調整リング（SDAR）を提案します。
私たちは、さまざまな合成データセットと現実世界のデータセットにわたってシステムを評価しました。
姿勢推定の精度は既存手法を超え、最先端を実現しています。
さらに、新しいビューの合成と幾何学的再構成の忠実度の点で、以前の単眼法よりも優れています。

要約(オリジナル)

This letter introduces a novel framework for dense Visual Simultaneous Localization and Mapping (VSLAM) based on Gaussian Splatting. Recently, SLAM based on Gaussian Splatting has shown promising results. However, in monocular scenarios, the Gaussian maps reconstructed lack geometric accuracy and exhibit weaker tracking capability. To address these limitations, we jointly optimize sparse visual odometry tracking and 3D Gaussian Splatting scene representation for the first time. We obtain depth maps on visual odometry keyframe windows using a fast Multi-View Stereo (MVS) network for the geometric supervision of Gaussian maps. Furthermore, we propose a depth smooth loss and Sparse-Dense Adjustment Ring (SDAR) to reduce the negative effect of estimated depth maps and preserve the consistency in scale between the visual odometry and Gaussian maps. We have evaluated our system across various synthetic and real-world datasets. The accuracy of our pose estimation surpasses existing methods and achieves state-of-the-art. Additionally, it outperforms previous monocular methods in terms of novel view synthesis and geometric reconstruction fidelities.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google