EC-SLAM: Effectively Constrained Neural RGB-D SLAM with Sparse TSDF Encoding and Global Bundle Adjustment

要約

EC-SLAM は、Neural Radiance Fields (NeRF) を活用したリアルタイムの高密度 RGB-D 同時位置特定およびマッピング (SLAM) システムです。
最近の NeRF ベースの SLAM システムは有望な結果を示していますが、ポーズの最適化を制約する NeRF の潜在力をまだ十分に活用していません。
EC-SLAM は、スパース パラメトリック エンコーディングと Truncated Signed Distance Fields (TSDF) を使用してマップを表現することでこの問題に対処し、効率的な融合を可能にし、モデル パラメーターを削減し、収束を加速します。
また、当社のシステムは、NeRF の暗黙的なループ クロージャー修正機能を活用するグローバルに制約されたバンドル調整 (BA) 戦略を採用しており、現在の最適化されたフレームに最も関連するキーフレームの制約を強化することで追跡精度を向上させます。
さらに、ポーズ最適化のための無効な制約点を最小限に抑える特徴ベースの均一なサンプリング戦略を統合することにより、NeRF におけるランダム サンプリングの影響を軽減します。
レプリカ、ScanNet、および TUM データセットの広範な評価により、最大 21 Hz のリアルタイム操作とともに正確な追跡と再構成の精度が達成され、最先端のパフォーマンスが実証されました。

要約(オリジナル)

We introduce EC-SLAM, a real-time dense RGB-D simultaneous localization and mapping (SLAM) system leveraging Neural Radiance Fields (NeRF). While recent NeRF-based SLAM systems have shown promising results, they have yet to fully exploit NeRF’s potential to constrain pose optimization. EC-SLAM addresses this by using sparse parametric encodings and Truncated Signed Distance Fields (TSDF) to represent the map, enabling efficient fusion, reducing model parameters, and accelerating convergence. Our system also employs a globally constrained Bundle Adjustment (BA) strategy that capitalizes on NeRF’s implicit loop closure correction capability, improving tracking accuracy by reinforcing constraints on keyframes most relevant to the current optimized frame. Furthermore, by integrating a feature-based and uniform sampling strategy that minimizes ineffective constraint points for pose optimization, we reduce the impact of random sampling in NeRF. Extensive evaluations on the Replica, ScanNet, and TUM datasets demonstrate state-of-the-art performance, with precise tracking and reconstruction accuracy achieved alongside real-time operation at up to 21 Hz.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google