UGNA-VPR: A Novel Training Paradigm for Visual Place Recognition Based on Uncertainty-Guided NeRF Augmentation

要約

視覚的な場所認識（VPR）は、ロボットが以前に訪れた場所を特定するために重要であり、屋内環境と屋外環境の両方で自律的なナビゲーションに重要な役割を果たしています。
ただし、既存のVPRデータセットのほとんどは、シングルビューポイントシナリオに限定されており、特に多方向の運転または機能スパースシーンでは、認識の精度が低下します。
さらに、これらの制限を軽減するために追加データを取得することは、しばしば高価です。
このペーパーでは、不確実性の推定とNERFベースのデータ増強を通じて現在のデータセット内のマルチビューの多様性を高めることにより、既存のVPRネットワークのパフォーマンスを改善するための新しいトレーニングパラダイムを紹介します。
具体的には、最初は既存のVPRデータセットを使用してnerfをトレーニングします。
次に、私たちの考案された自己監視不確実性推定ネットワークは、高い不確実性のある場所を識別します。
これらの不確実な場所のポーズは、VPRネットワークのさらなるトレーニングのための新しい合成観測を生成するためにNERFに入力されます。
さらに、拡張および元のトレーニングデータの効率的な組織化のための改善されたストレージ方法を提案します。
3つのデータセットで広範な実験を実施し、3つの異なるVPRバックボーンネットワークをテストしました。
結果は、提案されたトレーニングパラダイムが、既存のデータを完全に利用し、他のトレーニングアプローチを上回ることにより、VPRのパフォーマンスを大幅に改善することを示しています。
さらに、自己記録された屋内および屋外データセットに対するアプローチの有効性を検証し、一貫して優れた結果を示しました。
データセットとコードは、\ href {https://github.com/nubot-nudt/ugna-vpr} {https://github.com/nubot-nudt/ugna-vpr}でリリースされています。

要約(オリジナル)

Visual place recognition (VPR) is crucial for robots to identify previously visited locations, playing an important role in autonomous navigation in both indoor and outdoor environments. However, most existing VPR datasets are limited to single-viewpoint scenarios, leading to reduced recognition accuracy, particularly in multi-directional driving or feature-sparse scenes. Moreover, obtaining additional data to mitigate these limitations is often expensive. This paper introduces a novel training paradigm to improve the performance of existing VPR networks by enhancing multi-view diversity within current datasets through uncertainty estimation and NeRF-based data augmentation. Specifically, we initially train NeRF using the existing VPR dataset. Then, our devised self-supervised uncertainty estimation network identifies places with high uncertainty. The poses of these uncertain places are input into NeRF to generate new synthetic observations for further training of VPR networks. Additionally, we propose an improved storage method for efficient organization of augmented and original training data. We conducted extensive experiments on three datasets and tested three different VPR backbone networks. The results demonstrate that our proposed training paradigm significantly improves VPR performance by fully utilizing existing data, outperforming other training approaches. We further validated the effectiveness of our approach on self-recorded indoor and outdoor datasets, consistently demonstrating superior results. Our dataset and code have been released at \href{https://github.com/nubot-nudt/UGNA-VPR}{https://github.com/nubot-nudt/UGNA-VPR}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google