ESVIO: Event-based Stereo Visual Inertial Odometry

要約

低レイテンシのイベント ストリームを非同期に出力するイベント カメラは、困難な状況下で状態を推定する優れた機会を提供します。
イベントベースの視覚オドメトリは近年広く研究されていますが、そのほとんどは単眼に基づいており、ステレオイベントビジョンに関する研究はほとんどありません。
この論文では、イベント ストリーム、標準画像、慣性測定の相補的な利点を活用する初のイベントベースのステレオ視覚慣性オドメトリである ESVIO について紹介します。
私たちが提案するパイプラインは、連続するステレオ イベント ストリーム間の時間的追跡と瞬間的なマッチングを実現し、それによって堅牢な状態推定を取得します。
さらに、動き補償方法は、IMU と ESVIO バックエンドを使用して各イベントを基準モーメントにワープすることにより、シーンのエッジを強調するように設計されています。
ESIO (純粋なイベントベース) と ESVIO (画像支援付きイベント) の両方が、公開データセットと自己収集データセットで他の画像ベースおよびイベントベースのベースライン手法と比較して優れたパフォーマンスを発揮することを検証します。
さらに、当社のパイプラインを使用して、低照度環境下で機内クアローター飛行を実行します。
長期的な効果を実証するために、実際の大規模実験も行われています。
この研究が、困難な環境下でのロバストな状態推定を目的としたリアルタイムで正確なシステムであることを強調します。

要約(オリジナル)

Event cameras that asynchronously output low-latency event streams provide great opportunities for state estimation under challenging situations. Despite event-based visual odometry having been extensively studied in recent years, most of them are based on monocular and few research on stereo event vision. In this paper, we present ESVIO, the first event-based stereo visual-inertial odometry, which leverages the complementary advantages of event streams, standard images and inertial measurements. Our proposed pipeline achieves temporal tracking and instantaneous matching between consecutive stereo event streams, thereby obtaining robust state estimation. In addition, the motion compensation method is designed to emphasize the edge of scenes by warping each event to reference moments with IMU and ESVIO back-end. We validate that both ESIO (purely event-based) and ESVIO (event with image-aided) have superior performance compared with other image-based and event-based baseline methods on public and self-collected datasets. Furthermore, we use our pipeline to perform onboard quadrotor flights under low-light environments. A real-world large-scale experiment is also conducted to demonstrate long-term effectiveness. We highlight that this work is a real-time, accurate system that is aimed at robust state estimation under challenging environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google