CoVIO: Online Continual Learning for Visual-Inertial Odometry

要約

ビジュアル オドメトリは、モバイル デバイスやロボット プラットフォームの多くのアプリケーションにとって基本的なタスクです。
このようなアプリケーションは、多くの場合、事前定義されたターゲット ドメインに限定されず、学習ベースのビジョン システムは目に見えない環境への一般化が不十分であることが知られているため、推論時間中に継続的に適応する方法は非常に興味深いものです。
この作業では、視覚慣性オドメトリをオンラインで継続的に学習するための CoVIO を紹介します。
CoVIO は、経験のリプレイを活用することで壊滅的な忘却を軽減しながら、新しいドメインに効果的に適応します。
特に、埋め込みデバイスの限られたストレージ容量を対象とする固定サイズの再生バッファーで画像の多様性を最大化するための新しいサンプリング戦略を提案します。
さらに、オドメトリ推定をネットワーク重み更新ステップから分離する非同期バージョンを提供し、リアルタイムでの継続的な推論を可能にします。
さまざまな実世界のデータセットで CoVIO を広範囲に評価し、以前の方法よりも優れた性能を発揮しながら、新しいドメインにうまく適応することを示しています。
私たちの作業のコードは、http://continual-slam.cs.uni-freiburg.de で公開されています。

要約(オリジナル)

Visual odometry is a fundamental task for many applications on mobile devices and robotic platforms. Since such applications are oftentimes not limited to predefined target domains and learning-based vision systems are known to generalize poorly to unseen environments, methods for continual adaptation during inference time are of significant interest. In this work, we introduce CoVIO for online continual learning of visual-inertial odometry. CoVIO effectively adapts to new domains while mitigating catastrophic forgetting by exploiting experience replay. In particular, we propose a novel sampling strategy to maximize image diversity in a fixed-size replay buffer that targets the limited storage capacity of embedded devices. We further provide an asynchronous version that decouples the odometry estimation from the network weight update step enabling continuous inference in real time. We extensively evaluate CoVIO on various real-world datasets demonstrating that it successfully adapts to new domains while outperforming previous methods. The code of our work is publicly available at http://continual-slam.cs.uni-freiburg.de.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google