NeRF-VINS: A Real-time Neural Radiance Field Map-based Visual-Inertial Navigation System

要約

以前のマップで効率的かつ一貫した位置特定を達成することは、ロボット工学において依然として困難です。
従来のキーフレームベースのアプローチでは、視野 (FOV) の制限や動きの制約により、視点が最適ではないことが多く、ローカリゼーションのパフォーマンスが低下します。
この問題に対処するために、リアルタイムの密結合神経放射場 (NeRF) 支援視覚慣性航法システム (VINS) を設計します。
特に、新しいビューを合成する NeRF の可能性を効果的に活用することで、提案された NeRF-VINS は、従来のキーフレームベースのマップ (ビューが制限された) の制限を克服し、IMU、単眼画像、および合成レンダリングされた画像を効率的なフィルター内で最適に融合します。
ベースのフレームワーク。
この緊密に結合された融合により、誤差を制限した効率的な 3D モーション トラッキングが可能になります。
私たちは、提案された NeRF-VINS を、以前の地図情報を使用する最先端の方法と徹底的に比較し、リソースに制約のある Jetson AGX Orin 組み込みプラットフォーム上で 10 Hz 以上でリアルタイム位置特定を実行できる能力を実証します。

要約(オリジナル)

Achieving efficient and consistent localization a prior map remains challenging in robotics. Conventional keyframe-based approaches often suffers from sub-optimal viewpoints due to limited field of view (FOV) and/or constrained motion, thus degrading the localization performance. To address this issue, we design a real-time tightly-coupled Neural Radiance Fields (NeRF)-aided visual-inertial navigation system (VINS). In particular, by effectively leveraging the NeRF’s potential to synthesize novel views, the proposed NeRF-VINS overcomes the limitations of traditional keyframe-based maps (with limited views) and optimally fuses IMU, monocular images, and synthetically rendered images within an efficient filter-based framework. This tightly-coupled fusion enables efficient 3D motion tracking with bounded errors. We extensively compare the proposed NeRF-VINS against the state-of-the-art methods that use prior map information and demonstrate its ability to perform real-time localization, at over 10 Hz, on a resource-constrained Jetson AGX Orin embedded platform.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google