RGB-Only Gaussian Splatting SLAM for Unbounded Outdoor Scenes

要約

3Dガウススプラッティング（3DG）は、高忠実度の斬新な見解を生み出すことができるため、SLAMで人気のあるソリューションになりました。
ただし、以前のGSベースの方法は、主に屋内シーンをターゲットにし、RGB-Dセンサーまたは事前に訓練された深度推定モデルに依存するため、屋外シナリオではパフォーマンスが低下しています。
この問題に対処するために、Unboundの屋外シーンであるOpengs-SlamのRGB​​のみのガウススプラッツスラム方法を提案します。
技術的には、最初にポイントマップ回帰ネットワークを使用して、ポーズ推定のためにフレーム間で一貫したポイントマップを生成します。
一般的に使用される深度マップと比較して、ポイントマップには、複数のビューにわたる空間的関係とシーンジオメトリが含まれており、堅牢なカメラポーズ推定を可能にします。
次に、推定カメラのポーズと3DGSレンダリングをエンドツーエンドの微分パイプラインとして統合することを提案します。
私たちの方法は、カメラのポーズと3DGSシーンパラメーターの同時最適化を実現し、システム追跡の精度を大幅に向上させます。
具体的には、3DGSマップ表現により正確なポイントマップマッピングを提供するPointmap Regressionネットワーク用の適応スケールマッパーも設計します。
WAYMOデータセットでの実験は、OpenGS-SLALが追跡エラーを以前の3DGSメソッドの9.8 \％に減らし、新しいビューの合成で最先端の結果を達成することを示しています。
プロジェクトページ：https：//3dagentworld.github.io/opengs-slam/

要約(オリジナル)

3D Gaussian Splatting (3DGS) has become a popular solution in SLAM, as it can produce high-fidelity novel views. However, previous GS-based methods primarily target indoor scenes and rely on RGB-D sensors or pre-trained depth estimation models, hence underperforming in outdoor scenarios. To address this issue, we propose a RGB-only gaussian splatting SLAM method for unbounded outdoor scenes–OpenGS-SLAM. Technically, we first employ a pointmap regression network to generate consistent pointmaps between frames for pose estimation. Compared to commonly used depth maps, pointmaps include spatial relationships and scene geometry across multiple views, enabling robust camera pose estimation. Then, we propose integrating the estimated camera poses with 3DGS rendering as an end-to-end differentiable pipeline. Our method achieves simultaneous optimization of camera poses and 3DGS scene parameters, significantly enhancing system tracking accuracy. Specifically, we also design an adaptive scale mapper for the pointmap regression network, which provides more accurate pointmap mapping to the 3DGS map representation. Our experiments on the Waymo dataset demonstrate that OpenGS-SLAM reduces tracking error to 9.8\% of previous 3DGS methods, and achieves state-of-the-art results in novel view synthesis. Project Page: https://3dagentworld.github.io/opengs-slam/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google