Adaptive VIO: Deep Visual-Inertial Odometry with Online Continual Learning

要約

視覚慣性オドメトリ (VIO) は、低コストで補完的なセンサーを備えているため、目覚ましい成功を収めています。
しかし、既存の VIO 方法には、さまざまな環境やセンサー属性に適応するための一般化機能が欠けています。
この論文では、オンライン継続学習と従来の非線形最適化を組み合わせた新しい単眼視覚慣性オドメトリであるアダプティブ VIO を提案します。
アダプティブ VIO は、視覚的な対応と IMU バイアスを予測する 2 つのネットワークで構成されます。
ネットワークを使用して 2 つのモダリティ (カメラと IMU) の特徴を融合し、姿勢を直接予測するエンドツーエンドのアプローチとは異なり、VIO システムではニューラル ネットワークと視覚慣性バンドル調整を組み合わせます。
最適化された推定値はビジュアル ネットワークと IMU バイアス ネットワークにフィードバックされ、自己監視型の方法でネットワークを改良します。
このような学習と最適化を組み合わせたフレームワークとフィードバック メカニズムにより、システムはオンラインで継続的な学習を行うことができます。
実験では、アダプティブ VIO が EuRoC および TUM-VI データセットで適応能力を発揮することが実証されています。
全体的なパフォーマンスは、現在知られている学習ベースの VIO メソッドを上回り、最先端の最適化ベースのメソッドに匹敵します。

要約(オリジナル)

Visual-inertial odometry (VIO) has demonstrated remarkable success due to its low-cost and complementary sensors. However, existing VIO methods lack the generalization ability to adjust to different environments and sensor attributes. In this paper, we propose Adaptive VIO, a new monocular visual-inertial odometry that combines online continual learning with traditional nonlinear optimization. Adaptive VIO comprises two networks to predict visual correspondence and IMU bias. Unlike end-to-end approaches that use networks to fuse the features from two modalities (camera and IMU) and predict poses directly, we combine neural networks with visual-inertial bundle adjustment in our VIO system. The optimized estimates will be fed back to the visual and IMU bias networks, refining the networks in a self-supervised manner. Such a learning-optimization-combined framework and feedback mechanism enable the system to perform online continual learning. Experiments demonstrate that our Adaptive VIO manifests adaptive capability on EuRoC and TUM-VI datasets. The overall performance exceeds the currently known learning-based VIO methods and is comparable to the state-of-the-art optimization-based methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google