Robust Gaussian Splatting SLAM by Leveraging Loop Closure

要約

3D ガウス スプラッティング アルゴリズムは、新しいビュー レンダリング アプリケーションに優れており、従来の SLAM システムの機能を拡張するように適応されています。
しかし、現在のガウス スプラッティング SLAM 手法は、主にハンドヘルド RGB または RGB-D センサー向けに設計されており、回転 RGB-D カメラ セットアップで使用するとドリフトの追跡に苦労します。
この論文では、回転する複数の RGB-D カメラからの入力を利用して、正確な位置特定とフォトリアリスティックなレンダリング パフォーマンスを実現する、堅牢なガウス スプラッティング SLAM アーキテクチャを提案します。
慎重に設計されたガウス スプラッティング ループ クロージャ モジュールは、従来のガウス スプラッティング SLAM システムに見られる蓄積されたトラッキング エラーとマッピング エラーの問題に効果的に対処します。
まず、各ガウスはアンカー フレームに関連付けられ、タイムスタンプに基づいて歴史的または新規に分類されます。
異なるタイプのガウスを同じ視点でレンダリングすることにより、提案されたループ検出戦略では、相互可視性の関係と個別のレンダリング結果の両方が考慮されます。
さらに、カメラのポーズのドリフトを除去し、3D ガウス モデルの高品質を維持するために、ループ クロージャーの最適化アプローチが提案されています。
このアプローチでは、軽量のポーズ グラフ最適化アルゴリズムを使用してポーズ ドリフトを修正し、最適化されたポーズに基づいてガウス分布を更新します。
さらに、バンドル調整スキームにより、フォトメトリックおよび幾何学的制約を使用してカメラのポーズがさらに調整され、最終的にシナリオのグローバルな一貫性が向上します。
合成データセットと現実世界のデータセットの両方に対する定量的評価と定性的評価により、私たちの方法がカメラのポーズ推定と新しいビューのレンダリングタスクにおいて最先端の方法よりも優れていることが実証されました。
コードはコミュニティ向けにオープンソース化されます。

要約(オリジナル)

3D Gaussian Splatting algorithms excel in novel view rendering applications and have been adapted to extend the capabilities of traditional SLAM systems. However, current Gaussian Splatting SLAM methods, designed mainly for hand-held RGB or RGB-D sensors, struggle with tracking drifts when used with rotating RGB-D camera setups. In this paper, we propose a robust Gaussian Splatting SLAM architecture that utilizes inputs from rotating multiple RGB-D cameras to achieve accurate localization and photorealistic rendering performance. The carefully designed Gaussian Splatting Loop Closure module effectively addresses the issue of accumulated tracking and mapping errors found in conventional Gaussian Splatting SLAM systems. First, each Gaussian is associated with an anchor frame and categorized as historical or novel based on its timestamp. By rendering different types of Gaussians at the same viewpoint, the proposed loop detection strategy considers both co-visibility relationships and distinct rendering outcomes. Furthermore, a loop closure optimization approach is proposed to remove camera pose drift and maintain the high quality of 3D Gaussian models. The approach uses a lightweight pose graph optimization algorithm to correct pose drift and updates Gaussians based on the optimized poses. Additionally, a bundle adjustment scheme further refines camera poses using photometric and geometric constraints, ultimately enhancing the global consistency of scenarios. Quantitative and qualitative evaluations on both synthetic and real-world datasets demonstrate that our method outperforms state-of-the-art methods in camera pose estimation and novel view rendering tasks. The code will be open-sourced for the community.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google