BlinkTrack: Feature Tracking over 100 FPS via Events and Images

要約

フィーチャ追跡は、モーションからの構造 (SFM)、位置特定とマッピングの同時実行 (SLAM)、オブジェクト追跡、およびさまざまなコンピューター ビジョン タスクにとって重要です。
イベント カメラは、高い時間分解能と非同期変化を捕捉する機能で知られ、特に困難な状況における特徴追跡の可​​能性で大きな注目を集めています。
ただし、イベント カメラには従来のカメラが提供するきめの細かいテクスチャ情報が不足しているため、追跡時にエラーが蓄積されます。
これに対処するために、高周波特徴追跡のためにイベント データと RGB 画像を統合する新しいフレームワーク BlinkTrack を提案します。
私たちの手法は、イベント ブランチと画像ブランチの両方で微分可能なカルマン フィルターを利用して、従来のカルマン フィルターを学習ベースのフレームワークに拡張します。
このアプローチにより、単一モダリティ追跡が改善され、曖昧さが解決され、非同期データ融合がサポートされます。
また、モデルをより適切に評価するために、新しい合成データセットと拡張データセットも導入します。
実験結果は、BlinkTrack が既存のイベントベースの手法を大幅に上回り、前処理されたイベント データで 100 FPS、マルチモダリティ データで 80 FPS を超えることを示しています。

要約(オリジナル)

Feature tracking is crucial for, structure from motion (SFM), simultaneous localization and mapping (SLAM), object tracking and various computer vision tasks. Event cameras, known for their high temporal resolution and ability to capture asynchronous changes, have gained significant attention for their potential in feature tracking, especially in challenging conditions. However, event cameras lack the fine-grained texture information that conventional cameras provide, leading to error accumulation in tracking. To address this, we propose a novel framework, BlinkTrack, which integrates event data with RGB images for high-frequency feature tracking. Our method extends the traditional Kalman filter into a learning-based framework, utilizing differentiable Kalman filters in both event and image branches. This approach improves single-modality tracking, resolves ambiguities, and supports asynchronous data fusion. We also introduce new synthetic and augmented datasets to better evaluate our model. Experimental results indicate that BlinkTrack significantly outperforms existing event-based methods, exceeding 100 FPS with preprocessed event data and 80 FPS with multi-modality data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google