EVIT: Event-based Visual-Inertial Tracking in Semi-Dense Maps Using Windowed Nonlinear Optimization

要約

イベントカメラは、絶対的な画像強度を積分するのではなく、明るさの変化に反応する興味深い視覚外受容センサーである。この設計のおかげで、センサーは困難なダイナミクスや照明条件の状況で強力な性能を発揮する。イベントベースの追跡とマッピングの同時処理は依然として困難な問題であるが、最近の多くの研究により、センサがマップベースの事前追跡に適していることが指摘されている。クロスモーダルレジストレーションパラダイムを利用することで、カメラのエゴモーションは、より伝統的なセンサーによって事前に作成された正確なマップの上に、照明とダイナミクスの条件の大きなスペクトルにわたって追跡することができる。本論文では、最近導入されたイベントベースの幾何学的半密度トラッキングパラダイムをフォローアップし、推定をロバストにするために慣性信号の追加を提案する。より具体的には、追加された信号は、ウィンドウ化されたマルチフレームトラッキング中の正則化と同様に、ポーズ初期化のための強力な手がかりを提供する。その結果、提案するフレームワークは、困難な照明条件下でのパフォーマンスの向上と、非常にダイナミックなシーケンスにおいて安定したトラッキングを維持するために中間イベント表現を登録する必要性の低減を達成します。我々の評価は、実世界の様々なシーケンスに焦点を当て、異なるレートで実行される純粋なイベントベースの代替手法に対する我々の提案手法の比較で構成されています。

要約(オリジナル)

Event cameras are an interesting visual exteroceptive sensor that reacts to brightness changes rather than integrating absolute image intensities. Owing to this design, the sensor exhibits strong performance in situations of challenging dynamics and illumination conditions. While event-based simultaneous tracking and mapping remains a challenging problem, a number of recent works have pointed out the sensor’s suitability for prior map-based tracking. By making use of cross-modal registration paradigms, the camera’s ego-motion can be tracked across a large spectrum of illumination and dynamics conditions on top of accurate maps that have been created a priori by more traditional sensors. The present paper follows up on a recently introduced event-based geometric semi-dense tracking paradigm, and proposes the addition of inertial signals in order to robustify the estimation. More specifically, the added signals provide strong cues for pose initialization as well as regularization during windowed, multi-frame tracking. As a result, the proposed framework achieves increased performance under challenging illumination conditions as well as a reduction of the rate at which intermediate event representations need to be registered in order to maintain stable tracking across highly dynamic sequences. Our evaluation focuses on a diverse set of real world sequences and comprises a comparison of our proposed method against a purely event-based alternative running at different rates.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL