CodeVIO: Visual-Inertial Odometry with Learned Optimizable Dense Depth

要約

この研究では、軽量で密結合された深層ネットワークと視覚慣性オドメトリ (VIO) システムを紹介します。これにより、周囲の正確な状態推定と緻密な深度マップを提供できます。
提案されている軽量の条件付き変分オートエンコーダ (CVAE) を深度推論とエンコードに活用し、VIO から以前は疎外されていたスパース特徴をネットワークに提供して、初期深度予測と汎化機能の精度を向上させます。
次に、コンパクトなエンコードされた深度マップは、密なローカル シーン ジオメトリを提供するために、スライディング ウィンドウ推定器のナビゲーション状態とともに更新されます。
さらに、CVAE のヤコビアンを取得するための新しい方法を提案します。これは、以前の研究よりも 1 桁以上高速であることが示されています。また、再計算を回避するために、一次推定ヤコビアン (FEJ) を活用します。
完全に密な残差に依存する以前の研究とは対照的に、私たちは深度コードを更新するために疎な測定値のみを提供することを提案し、慎重な実験を通じて、疎な測定値とFEJの選択が依然として推定深度マップを大幅に改善できることを示します。
私たちの完全なシステムは、最先端の姿勢推定精度も示しており、ネットワークとコード ヤコビアンに対してのみ GPU アクセラレーションを利用しながら、シングルスレッド実行でリアルタイムに実行できることを示しています。

要約(オリジナル)

In this work, we present a lightweight, tightly-coupled deep depth network and visual-inertial odometry (VIO) system, which can provide accurate state estimates and dense depth maps of the immediate surroundings. Leveraging the proposed lightweight Conditional Variational Autoencoder (CVAE) for depth inference and encoding, we provide the network with previously marginalized sparse features from VIO to increase the accuracy of initial depth prediction and generalization capability. The compact encoded depth maps are then updated jointly with navigation states in a sliding window estimator in order to provide the dense local scene geometry. We additionally propose a novel method to obtain the CVAE’s Jacobian which is shown to be more than an order of magnitude faster than previous works, and we additionally leverage First-Estimate Jacobian (FEJ) to avoid recalculation. As opposed to previous works relying on completely dense residuals, we propose to only provide sparse measurements to update the depth code and show through careful experimentation that our choice of sparse measurements and FEJs can still significantly improve the estimated depth maps. Our full system also exhibits state-of-the-art pose estimation accuracy, and we show that it can run in real-time with single-thread execution while utilizing GPU acceleration only for the network and code Jacobian.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google