Data-driven Feature Tracking for Event Cameras

要約

タイトル：イベントカメラのデータ駆動型機能トラッキング
要約：
– イベントカメラは、高い時間分解能力、運動ブラーに対する強い耐性、非常にまばらな出力のため、難しいシナリオでも低遅延かつ低帯域幅の機能トラッキングに最適として示されている。
– 既存のイベントカメラの機能トラッキング方法は、手作りまたは最初の原則から派生しているが、広範なパラメータの調整が必要で、ノイズに感度があり、未モデル化の影響により異なるシナリオに一般化しない。
– この問題に対処するために、私たちはイベントカメラのための初めてのデータ駆動型機能トラッカーを紹介し、グレースケールフレームで検出された機能を追跡するために低遅延のイベントを活用する。
– 私たちは、機能トラック間で情報を共有する革新的なフレームアテンションモジュールによって堅牢な性能を実現している。
– また、合成データから実際のデータに直接ゼロショットを転送することにより、データ駆動型トラッカーは、相対的な機能の年齢に対して既存の手法よりも最大120%の優れた性能を発揮し、最低遅延を達成している。
– さらに、私たちのトラッカーを自己監視戦略で実際のデータに適応することにより、この性能ギャップは130%にさらに拡大される。

要約(オリジナル)

Because of their high temporal resolution, increased resilience to motion blur, and very sparse output, event cameras have been shown to be ideal for low-latency and low-bandwidth feature tracking, even in challenging scenarios. Existing feature tracking methods for event cameras are either handcrafted or derived from first principles but require extensive parameter tuning, are sensitive to noise, and do not generalize to different scenarios due to unmodeled effects. To tackle these deficiencies, we introduce the first data-driven feature tracker for event cameras, which leverages low-latency events to track features detected in a grayscale frame. We achieve robust performance via a novel frame attention module, which shares information across feature tracks. By directly transferring zero-shot from synthetic to real data, our data-driven tracker outperforms existing approaches in relative feature age by up to 120% while also achieving the lowest latency. This performance gap is further increased to 130% by adapting our tracker to real data with a novel self-supervision strategy.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI