SLC$^2$-SLAM: Semantic-guided Loop Closure with Shared Latent Code for NeRF SLAM

要約

NeRF SLAM の悪名高い累積ドリフト エラーをターゲットとして、SLC$^2$-SLAM と呼ばれる、共有潜在コードを使用したセマンティック ガイド付きループ クロージャを提案します。
特に、多くの NeRF SLAM システムに保存されている潜在コードは、より適切な再構築のためにのみ使用されているため、十分に活用されていないと主張します。
この論文では、局所特徴と同じ潜在コードを使用して潜在的なループを検出する簡単かつ効果的な方法を提案します。
ループ検出のパフォーマンスをさらに向上させるために、同じ潜在コードからデコードされたセマンティック情報を使用して、ローカル フィーチャの集約をガイドします。
最後に、潜在的なループが検出されたら、グラフの最適化とそれに続くバンドル調整によってループを閉じ、推定されたポーズと再構築されたシーンの両方を調整します。
SLC$^2$-SLAM のパフォーマンスを評価するために、レプリカと ScanNet データセットに対して広範な実験を実施しました。
私たちが提案するセマンティック ガイド付きループ クロージャは、ループ クロージャを備えた他のすべての NeRF SLAM で使用されている、Bag-of-Words と組み合わせた事前トレーニング済み NetVLAD および ORB よりも大幅に優れたパフォーマンスを発揮します。
その結果、SLC$^2$-SLAM は、特に ScanNet のようなループが多い大規模なシーンで、より優れた追跡および再構築パフォーマンスも実証しました。

要約(オリジナル)

Targeting the notorious cumulative drift errors in NeRF SLAM, we propose a Semantic-guided Loop Closure with Shared Latent Code, dubbed SLC$^2$-SLAM. Especially, we argue that latent codes stored in many NeRF SLAM systems are not fully exploited, as they are only used for better reconstruction. In this paper, we propose a simple yet effective way to detect potential loops using the same latent codes as local features. To further improve the loop detection performance, we use the semantic information, which are also decoded from the same latent codes to guide the aggregation of local features. Finally, with the potential loops detected, we close them with a graph optimization followed by bundle adjustment to refine both the estimated poses and the reconstructed scene. To evaluate the performance of our SLC$^2$-SLAM, we conduct extensive experiments on Replica and ScanNet datasets. Our proposed semantic-guided loop closure significantly outperforms the pre-trained NetVLAD and ORB combined with Bag-of-Words, which are used in all the other NeRF SLAM with loop closure. As a result, our SLC$^2$-SLAM also demonstrated better tracking and reconstruction performance, especially in larger scenes with more loops, like ScanNet.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google