Event-based Visual Odometry with Full Temporal Resolution via Continuous-time Gaussian Process Regression

要約

イベントベースカメラは、シーンにおける個々の視覚的変化を非同期で捕捉します。このため、従来のフレームベースのカメラに比べて、非常にダイナミックな動きや照明の悪さに対してより堅牢です。また、シーン内のすべての測定がユニークな時間に発生する可能性があることを意味します。 このような異なる測定時間を扱うことは、イベントベースカメラを使用する際の大きな課題です。視覚的オドメトリ（VO）パイプラインでは、時間的に近い測定値を1つの共通の時刻に発生したものとして近似することで対処することが多い。このグループ化により、推定問題は単純化されますが、イベントベースカメラの固有の時間分解能が犠牲になります。 本論文では、グループ化や近似を必要とせず、個々のイベント測定時間で直接推定する完全なステレオVOパイプラインを紹介します。このパイプラインは、物理的に動機づけられた事前分布を持つガウス過程回帰により、イベントベースカメラの時間的忠実性と非同期性を維持する連続時間軌跡推定を使用しています。その性能はMVSECデータセットで評価され、2つの独立したシーケンスで7.9e-3と5.9e-3のRMS相対誤差を達成し、既存の公開されているイベントベースのステレオVOパイプラインをそれぞれ2倍と4倍上回る性能を有しています。

要約(オリジナル)

Event-based cameras asynchronously capture individual visual changes in a scene. This makes them more robust than traditional frame-based cameras to highly dynamic motions and poor illumination. It also means that every measurement in a scene can occur at a unique time. Handling these different measurement times is a major challenge of using event-based cameras. It is often addressed in visual odometry (VO) pipelines by approximating temporally close measurements as occurring at one common time. This grouping simplifies the estimation problem but sacrifices the inherent temporal resolution of event-based cameras. This paper instead presents a complete stereo VO pipeline that estimates directly with individual event-measurement times without requiring any grouping or approximation. It uses continuous-time trajectory estimation to maintain the temporal fidelity and asynchronous nature of event-based cameras through Gaussian process regression with a physically motivated prior. Its performance is evaluated on the MVSEC dataset, where it achieves 7.9e-3 and 5.9e-3 RMS relative error on two independent sequences, outperforming the existing publicly available event-based stereo VO pipeline by two and four times, respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL