Deep Event Visual Odometry

要約

イベント カメラは、高速動作中や照明条件が悪い場合でもカメラの姿勢を追跡できるエキサイティングな可能性を提供します。
この約束にもかかわらず、既存のイベントベースの単眼視覚オドメトリ (VO) アプローチは、最近のベンチマークでは限られたパフォーマンスを示しています。
この制限に対処するために、一部の方法では、IMU、ステレオ イベント カメラ、フレームベースのカメラなどの追加センサーを利用します。
それにもかかわらず、これらの追加センサーはコストを増加させ、システム要件を複雑にするため、現実世界のデバイスでのイベント カメラの適用を制限します。
さらに、フレームベースのカメラに依存すると、システムはモーション ブラーや HDR の影響を受けやすくなります。
追加のセンサーへの依存を排除​​し、単一イベント カメラのみの使用の限界を押し上げるために、多くの実世界のベンチマークで強力なパフォーマンスを発揮する初の単眼イベント専用システムである Deep Event VO (DEVO) を紹介します。
DEVO は、選択されたイベント パッチを時間の経過とともにまばらに追跡します。
DEVO の重要なコンポーネントは、イベント データに合わせて調整された新しいディープ パッチ選択メカニズムです。
イベントのみの方法と比較して、7 つの現実世界のベンチマークでポーズ追跡エラーを最大 97% 大幅に削減し、多くの場合、ステレオまたは慣性方法を上回るか、それに近いものになります。
コードは https://github.com/tum-vision/DEVO で入手できます。

要約(オリジナル)

Event cameras offer the exciting possibility of tracking the camera’s pose during high-speed motion and in adverse lighting conditions. Despite this promise, existing event-based monocular visual odometry (VO) approaches demonstrate limited performance on recent benchmarks. To address this limitation, some methods resort to additional sensors such as IMUs, stereo event cameras, or frame-based cameras. Nonetheless, these additional sensors limit the application of event cameras in real-world devices since they increase cost and complicate system requirements. Moreover, relying on a frame-based camera makes the system susceptible to motion blur and HDR. To remove the dependency on additional sensors and to push the limits of using only a single event camera, we present Deep Event VO (DEVO), the first monocular event-only system with strong performance on a large number of real-world benchmarks. DEVO sparsely tracks selected event patches over time. A key component of DEVO is a novel deep patch selection mechanism tailored to event data. We significantly decrease the pose tracking error on seven real-world benchmarks by up to 97% compared to event-only methods and often surpass or are close to stereo or inertial methods. Code is available at https://github.com/tum-vision/DEVO

arxiv情報

提供元, 利用サービス

arxiv.jp, Google