DEIO: Deep Event Inertial Odometry

要約

イベントカメラは、高速モーションや高ダイナミックレンジなどの挑戦的な状況を処理する際に、視覚臭トメトリ（VO）の大きな可能性を示しています。
この約束にもかかわらず、イベントデータのまばらでモーション依存性の特性は、実際のアプリケーションでの機能ベースまたは直接ベースのデータ関連メソッドのパフォーマンスを制限し続けています。
これらの制限に対処するために、学習ベースの方法と従来の非線形グラフベースの最適化を組み合わせた最初の単眼学習ベースのイベント型フレームワークであるディープイベント慣性匂い（DEIO）を提案します。
具体的には、イベントベースのリカレントネットワークが採用され、イベントパッチの正確でまばらな関連付けを時間の経過とともに提供します。
DeioはさらにIMUと統合して、最新のポーズを回復し、堅牢な状態推定を提供します。
学習した微分可能なバンドル調整（DBA）から派生したヘシアン情報は、キーフレームベースのスライドウィンドウ内にイベントパッチ対応とIMUの事前統合を緊密に組み込んだ共観測因子グラフを最適化するために利用されます。
包括的な検証は、DEIOが20を超える最先端の方法と比較して\ TextIT {10}で優れたパフォーマンスを達成することを示しています。

要約(オリジナル)

Event cameras show great potential for visual odometry (VO) in handling challenging situations, such as fast motion and high dynamic range. Despite this promise, the sparse and motion-dependent characteristics of event data continue to limit the performance of feature-based or direct-based data association methods in practical applications. To address these limitations, we propose Deep Event Inertial Odometry (DEIO), the first monocular learning-based event-inertial framework, which combines a learning-based method with traditional nonlinear graph-based optimization. Specifically, an event-based recurrent network is adopted to provide accurate and sparse associations of event patches over time. DEIO further integrates it with the IMU to recover up-to-scale pose and provide robust state estimation. The Hessian information derived from the learned differentiable bundle adjustment (DBA) is utilized to optimize the co-visibility factor graph, which tightly incorporates event patch correspondences and IMU pre-integration within a keyframe-based sliding window. Comprehensive validations demonstrate that DEIO achieves superior performance on \textit{10} challenging public benchmarks compared with more than 20 state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google