DEIO: Deep Event Inertial Odometry

要約

イベント カメラは、生体からインスピレーションを得たモーション起動センサーで、モーション ブラーやハイ ダイナミック レンジなどの困難な状況に対処する際に優れた潜在力を発揮します。
その期待にもかかわらず、既存のイベントベースの同時位置特定およびマッピング (SLAM) アプローチは、現実世界のアプリケーションでは限られたパフォーマンスしか示しません。
一方、最先端の SLAM アプローチでは、堅牢性と適用性を向上させるためにディープ ニューラル ネットワークが組み込まれています。
しかし、これらは学習ベースのイベント SLAM 手法と IMU を融合する研究が不足しているため、イベントベースの SLAM を大規模、低テクスチャ、または複雑なシナリオに推し進めるために不可欠となる可能性があります。
この論文では、学習ベースの手法と従来の非線形グラフベースの最適化を組み合わせた初の単眼ディープイベント慣性オドメトリ フレームワークである DEIO を提案します。
具体的には、トレーニング可能なイベントベースの微分可能バンドル調整 (e-DBA) を、キーフレームベースのスライディング ウィンドウ最適化を採用したファクター グラフの IMU 事前統合と緊密に統合します。
9 つの公開チャレンジ データセットでの数値実験により、私たちの手法が画像ベースおよびイベントベースのベンチマークと比較して優れたパフォーマンスを達成できることが示されました。
ソース コードは https://github.com/arclab-hku/DEIO から入手できます。

要約(オリジナル)

Event cameras are bio-inspired, motion-activated sensors that demonstrate impressive potential in handling challenging situations, such as motion blur and high-dynamic range. Despite their promise, existing event-based simultaneous localization and mapping (SLAM) approaches exhibit limited performance in real-world applications. On the other hand, state-of-the-art SLAM approaches that incorporate deep neural networks for better robustness and applicability. However, these is a lack of research in fusing learning-based event SLAM methods with IMU, which could be indispensable to push the event-based SLAM to large-scale, low-texture or complex scenarios. In this paper, we propose DEIO, the first monocular deep event-inertial odometry framework that combines learning-based method with traditional nonlinear graph-based optimization. Specifically, we tightly integrate a trainable event-based differentiable bundle adjustment (e-DBA) with the IMU pre-integration in a factor graph which employs keyframe-based sliding window optimization. Numerical Experiments in nine public challenge datasets show that our method can achieve superior performance compared with the image-based and event-based benchmarks. The source code is available at: https://github.com/arclab-hku/DEIO.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google