LocoNeRF: A NeRF-based Approach for Local Structure from Motion for Precise Localization

要約

視覚的な位置特定はモバイル ロボット工学において重要なタスクであり、研究者はその効率を高めるための新しいアプローチを継続的に開発しています。
この記事では、Structure from Motion (SfM) 技術を使用して視覚的位置特定の精度を向上させる新しいアプローチを提案します。
高い遅延に悩まされるグローバル SfM の限界と、正確な再構成のために大規模な画像データベースを必要とするローカル SfM の課題を強調します。
これらの問題に対処するために、画像データベースではなく Neural Radiance Fields (NeRF) を利用して、ストレージに必要なスペースを削減することを提案します。
以前のクエリ位置の周囲で参照画像をサンプリングすると、さらなる改善につながる可能性があることをお勧めします。
LIDAR および Advanced Lidar Odometry and Mapping in Real-time (A-LOAM) を使用して得られたグラウンド トゥルースに対して提案手法の精度を評価し、実施された実験で COLMAP を使用したローカル SfM とそのストレージ使用量を比較します。
私たちが提案する手法は、グラウンド トゥルースと比較して 0.068 メートルの精度を達成しますが、これは 0.022 メートルの精度を持つ最先端の手法である COLMAP よりわずかに低くなります。
ただし、COLMAP に必要なデータベースのサイズは 400 メガバイトですが、NeRF モデルのサイズはわずか 160 メガバイトです。
最後に、NeRF 再構成からの参照画像を使用する影響を評価するためにアブレーション スタディを実行します。

要約(オリジナル)

Visual localization is a critical task in mobile robotics, and researchers are continuously developing new approaches to enhance its efficiency. In this article, we propose a novel approach to improve the accuracy of visual localization using Structure from Motion (SfM) techniques. We highlight the limitations of global SfM, which suffers from high latency, and the challenges of local SfM, which requires large image databases for accurate reconstruction. To address these issues, we propose utilizing Neural Radiance Fields (NeRF), as opposed to image databases, to cut down on the space required for storage. We suggest that sampling reference images around the prior query position can lead to further improvements. We evaluate the accuracy of our proposed method against ground truth obtained using LIDAR and Advanced Lidar Odometry and Mapping in Real-time (A-LOAM), and compare its storage usage against local SfM with COLMAP in the conducted experiments. Our proposed method achieves an accuracy of 0.068 meters compared to the ground truth, which is slightly lower than the most advanced method COLMAP, which has an accuracy of 0.022 meters. However, the size of the database required for COLMAP is 400 megabytes, whereas the size of our NeRF model is only 160 megabytes. Finally, we perform an ablation study to assess the impact of using reference images from the NeRF reconstruction.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google