MGS-SLAM: Monocular Sparse Tracking and Gaussian Mapping with Depth Smooth Regularization

要約

このレターでは、ガウス スプラッティングに基づく高密度視覚同時位置特定およびマッピング (VSLAM) のための新しいフレームワークを紹介します。
最近、ガウス スプラッティング ベースの SLAM は有望な結果をもたらしていますが、RGB-D 入力に依存しており、追跡が弱いです。
これらの制限に対処するために、高度なスパース ビジュアル オドメトリを初めて高密度ガウス スプラッティング シーン表現と独自に統合することで、ガウス スプラッティング ベースの SLAM システムに典型的な深度マップへの依存を排除​​し、追跡の堅牢性を強化しました。
ここでは、スパース ビジュアル オドメトリが RGB ストリームでカメラのポーズを追跡し、ガウス スプラッティングがマップの再構築を処理します。
これらのコンポーネントは、マルチビュー ステレオ (MVS) 深度推定ネットワークを通じて相互接続されています。
そして、推定された深度マップの悪影響を軽減するために、深度平滑損失を提案します。
さらに、疎なビジュアル オドメトリと密なガウス マップ間のスケールの一貫性は、疎密調整リング (SDAR) によって維持されます。
私たちは、さまざまな合成データセットと現実世界のデータセットにわたってシステムを評価しました。
姿勢推定の精度は既存手法を超え、最先端のパフォーマンスを実現します。
さらに、新しいビュー合成の忠実度の点で以前の単眼方式を上回っており、RGB-D 入力を利用するニューラル SLAM システムの結果と一致しています。

要約(オリジナル)

This letter introduces a novel framework for dense Visual Simultaneous Localization and Mapping (VSLAM) based on Gaussian Splatting. Recently Gaussian Splatting-based SLAM has yielded promising results, but rely on RGB-D input and is weak in tracking. To address these limitations, we uniquely integrates advanced sparse visual odometry with a dense Gaussian Splatting scene representation for the first time, thereby eliminating the dependency on depth maps typical of Gaussian Splatting-based SLAM systems and enhancing tracking robustness. Here, the sparse visual odometry tracks camera poses in RGB stream, while Gaussian Splatting handles map reconstruction. These components are interconnected through a Multi-View Stereo (MVS) depth estimation network. And we propose a depth smooth loss to reduce the negative effect of estimated depth maps. Furthermore, the consistency in scale between the sparse visual odometry and the dense Gaussian map is preserved by Sparse-Dense Adjustment Ring (SDAR). We have evaluated our system across various synthetic and real-world datasets. The accuracy of our pose estimation surpasses existing methods and achieves state-of-the-art performance. Additionally, it outperforms previous monocular methods in terms of novel view synthesis fidelity, matching the results of neural SLAM systems that utilize RGB-D input.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google