SLC$^2$-SLAM: Semantic-guided Loop Closure using Shared Latent Code for NeRF SLAM

要約

NERFスラムの悪名高い累積ドリフトエラーをターゲットにして、SLC $^2 $ -SLAMと呼ばれる共有潜在コードを使用してセマンティックガイド付きループ閉鎖を提案します。
多くのNERFスラムシステムに保存されている潜在コードは、より良い再建のためにのみ使用されるため、完全に活用されていないと主張します。
この論文では、ローカル機能と同じ潜在コードを使用して潜在的なループを検出するシンプルで効果的な方法を提案します。
ループ検出パフォーマンスをさらに向上させるために、セマンティック情報を使用します。セマンティック情報は、同じ潜在コードからデコードされて、ローカル機能の集約を導きます。
最後に、潜在的なループが検出された場合、グラフの最適化でそれらを閉じた後、バンドル調整を行い、推定されたポーズと再構築されたシーンの両方を改良します。
SLC $^2 $ -SLAMのパフォーマンスを評価するために、レプリカおよびスキャンテットデータセットで広範な実験を実施します。
提案されたセマンティックガイド付きループ閉鎖は、事前に訓練されたNetVladとOrbと組み合わせたワードバッグを大幅に上回ります。
その結果、SLC $^2 $ -SLAMは、特にScannetのようなより多くのループを備えたより大きなシーンで、より良い追跡と再構成のパフォーマンスも実証しました。

要約(オリジナル)

Targeting the notorious cumulative drift errors in NeRF SLAM, we propose a Semantic-guided Loop Closure using Shared Latent Code, dubbed SLC$^2$-SLAM. We argue that latent codes stored in many NeRF SLAM systems are not fully exploited, as they are only used for better reconstruction. In this paper, we propose a simple yet effective way to detect potential loops using the same latent codes as local features. To further improve the loop detection performance, we use the semantic information, which are also decoded from the same latent codes to guide the aggregation of local features. Finally, with the potential loops detected, we close them with a graph optimization followed by bundle adjustment to refine both the estimated poses and the reconstructed scene. To evaluate the performance of our SLC$^2$-SLAM, we conduct extensive experiments on Replica and ScanNet datasets. Our proposed semantic-guided loop closure significantly outperforms the pre-trained NetVLAD and ORB combined with Bag-of-Words, which are used in all the other NeRF SLAM with loop closure. As a result, our SLC$^2$-SLAM also demonstrated better tracking and reconstruction performance, especially in larger scenes with more loops, like ScanNet.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google