NVINS: Robust Visual Inertial Navigation Fused with NeRF-augmented Camera Pose Regressor and Uncertainty Quantification

要約

近年、Neural Radiance Fields (NeRF) が 3D 再構成と新しいビュー合成のための強力なツールとして登場しました。
ただし、NeRF レンダリングの計算コストとアーティファクトの存在による品質の低下は、リアルタイムで堅牢なロボット タスク、特に組み込みシステムでのアプリケーションに大きな課題をもたらします。
この論文では、NeRF 由来の位置情報と Visual-Inertial Odometry (VIO) を統合して、リアルタイムのロボット ナビゲーションのための堅牢なソリューションを提供する新しいフレームワークを紹介します。
NeRF からレンダリングされた拡張画像データを使用して絶対姿勢回帰ネットワークをトレーニングし、その不確実性を定量化することで、私たちのアプローチは位置ドリフトに効果的に対抗し、システムの信頼性を向上させます。
また、ベイジアンフレームワークの下で不確実性を考慮し、視覚的慣性ナビゲーションとカメラ位置特定ニューラルネットワークを組み合わせるための数学的に健全な基盤を確立します。
フォトリアリスティックなシミュレーション環境での実験による検証では、従来の VIO アプローチと比較して精度が大幅に向上していることが実証されました。

要約(オリジナル)

In recent years, Neural Radiance Fields (NeRF) have emerged as a powerful tool for 3D reconstruction and novel view synthesis. However, the computational cost of NeRF rendering and degradation in quality due to the presence of artifacts pose significant challenges for its application in real-time and robust robotic tasks, especially on embedded systems. This paper introduces a novel framework that integrates NeRF-derived localization information with Visual-Inertial Odometry(VIO) to provide a robust solution for robotic navigation in a real-time. By training an absolute pose regression network with augmented image data rendered from a NeRF and quantifying its uncertainty, our approach effectively counters positional drift and enhances system reliability. We also establish a mathematically sound foundation for combining visual inertial navigation with camera localization neural networks, considering uncertainty under a Bayesian framework. Experimental validation in the photorealistic simulation environment demonstrates significant improvements in accuracy compared to a conventional VIO approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google