ESVO2: Direct Visual-Inertial Odometry with Stereo Event Cameras

要約

イベントベースの視覚オドメトリは、視覚同時位置特定およびマッピング (SLAM) 技術の特定の分野であり、ニューロモーフィック (つまり、イベントベース) カメラの特別な動作原理を利用して、追跡とマッピングの下位問題を (通常は並行して) 解決することを目的としています。
。
イベント データは動きに依存する性質があるため、ベースライン視点の大幅な変更下での明示的なデータの関連付け (つまり、特徴のマッチング) を確立するのは困難であり、直接的な方法がより合理的な選択となります。
ただし、最先端の直接法は、マッピング副問題の高い計算複雑性と、回転における特定の自由度 (DoF) でのカメラ姿勢追跡の縮退によって制限されます。
この論文では、直接パイプライン上にイベントベースのステレオ視覚慣性オドメトリ システムを構築することで、これらの問題に取り組みます。
具体的には、マッピング操作を高速化するために、イベントの局所的なダイナミクスに従って輪郭点をサンプリングするための効率的な戦略を提案します。
時間的ステレオ結果と静的ステレオ結果を結合することにより、構造の完全性と局所的な滑らかさの点でもマッピングのパフォーマンスが向上します。
一般的な 6-DoF モーションのピッチおよびヨー成分を回復する際のカメラ姿勢追跡の縮退を回避するために、事前積分を介してモーション事前分布として IMU 測定を導入します。
この目的を達成するために、IMU バイアスを継続的に更新し、線速度を予測するためのコンパクトなバックエンドが提案され、カメラの姿勢追跡の正確な動き予測を可能にします。
結果として得られるシステムは、最新の高解像度イベント カメラに合わせて拡張でき、大規模な屋外環境における全地球測位精度の向上につながります。
異なる解像度とシナリオを特徴とする 5 つの公的に利用可能なデータセットに関する広範な評価により、5 つの最先端の方法に対して提案されたシステムの優れたパフォーマンスが正当化されます。

要約(オリジナル)

Event-based visual odometry is a specific branch of visual Simultaneous Localization and Mapping (SLAM) techniques, which aims at solving tracking and mapping subproblems (typically in parallel), by exploiting the special working principles of neuromorphic (i.e., event-based) cameras. Due to the motion-dependent nature of event data, explicit data association (i.e., feature matching) under large-baseline view-point changes is difficult to establish, making direct methods a more rational choice. However, state-of-the-art direct methods are limited by the high computational complexity of the mapping sub-problem and the degeneracy of camera pose tracking in certain degrees of freedom (DoF) in rotation. In this paper, we tackle these issues by building an event-based stereo visual-inertial odometry system on top of a direct pipeline. Specifically, to speed up the mapping operation, we propose an efficient strategy for sampling contour points according to the local dynamics of events. The mapping performance is also improved in terms of structure completeness and local smoothness by merging the temporal stereo and static stereo results. To circumvent the degeneracy of camera pose tracking in recovering the pitch and yaw components of general 6-DoF motion, we introduce IMU measurements as motion priors via pre-integration. To this end, a compact back-end is proposed for continuously updating the IMU bias and predicting the linear velocity, enabling an accurate motion prediction for camera pose tracking. The resulting system scales well with modern high-resolution event cameras and leads to better global positioning accuracy in large-scale outdoor environments. Extensive evaluations on five publicly available datasets featuring different resolutions and scenarios justify the superior performance of the proposed system against five state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google