Data-driven Feature Tracking for Event Cameras

要約

タイトル：イベントカメラ向けのデータ駆動型特徴トラッキング
要約：イベントカメラは、高い時間分解能、運動ブラーへの強い耐性、非常にスパースな出力により、厳しいシナリオにおいても遅延が少なく、低帯域幅での特徴トラッキングに最適であることが示されてきた。イベントカメラ向けの既存の特徴トラッキング手法は、手作業によるものまたは第一原理から派生したものであり、多くのパラメータ調整が必要であり、ノイズに敏感であり、未モデル化の影響のために異なるシナリオに一般化できない。これらの不備に対処するために、グレースケールフレームで検出された特徴を追跡するために低レイテンシのイベントを利用する初めてのデータ駆動型特徴トラッカーを提供する。特徴トラック間で情報を共有する新しいフレーム注意モジュールにより、強固な性能を実現する。シミュレーションからリアルデータへのゼロショットの直接転送により、データ駆動型トラッカーは相対的な特徴の年齢において既存の手法よりも最大120％優れた性能を発揮し、最も低いレイテンシも達成する。この性能差は、新しい自己監視戦略を用いて実データにトラッカーを適応させることで、さらに130％まで拡大される。

要約(オリジナル)

Because of their high temporal resolution, increased resilience to motion blur, and very sparse output, event cameras have been shown to be ideal for low-latency and low-bandwidth feature tracking, even in challenging scenarios. Existing feature tracking methods for event cameras are either handcrafted or derived from first principles but require extensive parameter tuning, are sensitive to noise, and do not generalize to different scenarios due to unmodeled effects. To tackle these deficiencies, we introduce the first data-driven feature tracker for event cameras, which leverages low-latency events to track features detected in a grayscale frame. We achieve robust performance via a novel frame attention module, which shares information across feature tracks. By directly transferring zero-shot from synthetic to real data, our data-driven tracker outperforms existing approaches in relative feature age by up to 120% while also achieving the lowest latency. This performance gap is further increased to 130% by adapting our tracker to real data with a novel self-supervision strategy.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI