TAMBRIDGE: Bridging Frame-Centered Tracking and 3D Gaussian Splatting for Enhanced SLAM

要約

3D ガウス スプラッティング (3DGS) は、モーション ブラーやカメラ ノイズに対する堅牢性が限られており、リアルタイム パフォーマンスが低いため、ロボット SLAM タスクでの応用が制限されています。
分析によると、これらの問題の主な原因は、モーション ブラーを伴うビューの密度と、ノイズの多い元のイメージとレンダリング結果に基づいて損失を計算することによる密なポーズ推定の累積誤差であり、これにより 3DGS レンダリングの収束の困難さが増大します。
したがって、最先端の 3DGS ベースの SLAM システムが導入され、3DGS の効率と柔軟性を活用してリアルタイム パフォーマンスを達成しながら、センサー ノイズ、モーション ブラー、長時間セッションの SLAM によってもたらされる課題に対して堅牢性を維持します。
このアプローチの中心となるのは、トラッキング中心の ORB Visual Odometry とマッピング中心のオンライン 3DGS をシームレスに統合する Fusion Bridge モジュールです。
このモジュールにより、再投影とレンダリング損失の共同最適化、および戦略的なビュー選択を通じて正確なポーズの初期化が可能になり、大規模なシーンでのレンダリングの収束性が向上します。
広範な実験により、最先端のレンダリング品質と位置特定精度が実証され、このシステムは、安定したほぼリアルタイムのパフォーマンスを必要とする現実世界のロボット工学アプリケーションの有望なソリューションとして位置づけられています。
私たちのプロジェクトは https://ZeldaFromHeaven.github.io/TAMBRIDGE/ で入手できます。

要約(オリジナル)

The limited robustness of 3D Gaussian Splatting (3DGS) to motion blur and camera noise, along with its poor real-time performance, restricts its application in robotic SLAM tasks. Upon analysis, the primary causes of these issues are the density of views with motion blur and the cumulative errors in dense pose estimation from calculating losses based on noisy original images and rendering results, which increase the difficulty of 3DGS rendering convergence. Thus, a cutting-edge 3DGS-based SLAM system is introduced, leveraging the efficiency and flexibility of 3DGS to achieve real-time performance while remaining robust against sensor noise, motion blur, and the challenges posed by long-session SLAM. Central to this approach is the Fusion Bridge module, which seamlessly integrates tracking-centered ORB Visual Odometry with mapping-centered online 3DGS. Precise pose initialization is enabled by this module through joint optimization of re-projection and rendering loss, as well as strategic view selection, enhancing rendering convergence in large-scale scenes. Extensive experiments demonstrate state-of-the-art rendering quality and localization accuracy, positioning this system as a promising solution for real-world robotics applications that require stable, near-real-time performance. Our project is available at https://ZeldaFromHeaven.github.io/TAMBRIDGE/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google