ETAP: Event-based Tracking of Any Point

要約

任意のポイント（TAP）を追跡すると、最近、モーション推定パラダイムが個々の顕著なポイントに焦点を合わせて、ローカルテンプレートを使用してグローバルな画像コンテキストで任意のポイントを追跡することにシフトしました。
ただし、研究では、名目設定でモデルの精度を促進することに焦点を当てていますが、センサーの制限により、照明条件や高速モーションの困難な条件と高速モーションのシナリオに対処することに焦点を当てています。
この作業は、最初のイベントカメラベースのTAPメソッドでこの課題に対処します。
堅牢な高速追跡のために、高い時間分解能とイベントカメラの高いダイナミックレンジを活用し、非同期およびまばらなイベント測定を処理するためのTAPメソッドのグローバルコンテキストを活用します。
さらに、TAPフレームワークを拡張して、モーションによって誘導されるイベント機能のバリエーションを処理します。これにより、純粋にイベントベースの追跡におけるオープンな課題に対処します。
私たちの方法は、新しいデータ生成パイプラインのデータでトレーニングされ、すべての設計上の決定にわたって体系的に除去されます。
私たちの方法は、強力なクロスダタセットの一般化を示しており、ベースラインよりも平均ジャッカーメトリックで136％優れたパフォーマンスを発揮します。
さらに、確立された機能追跡ベンチマークでは、以前のベストイベントのみの方法よりも20％の改善を達成し、以前のベストイベントとフレーム方法を4.1％上回ります。
私たちのコードは、https：//github.com/tub-rip/etapで入手できます

要約(オリジナル)

Tracking any point (TAP) recently shifted the motion estimation paradigm from focusing on individual salient points with local templates to tracking arbitrary points with global image contexts. However, while research has mostly focused on driving the accuracy of models in nominal settings, addressing scenarios with difficult lighting conditions and high-speed motions remains out of reach due to the limitations of the sensor. This work addresses this challenge with the first event camera-based TAP method. It leverages the high temporal resolution and high dynamic range of event cameras for robust high-speed tracking, and the global contexts in TAP methods to handle asynchronous and sparse event measurements. We further extend the TAP framework to handle event feature variations induced by motion — thereby addressing an open challenge in purely event-based tracking — with a novel feature-alignment loss which ensures the learning of motion-robust features. Our method is trained with data from a new data generation pipeline and systematically ablated across all design decisions. Our method shows strong cross-dataset generalization and performs 136% better on the average Jaccard metric than the baselines. Moreover, on an established feature tracking benchmark, it achieves a 20% improvement over the previous best event-only method and even surpasses the previous best events-and-frames method by 4.1%. Our code is available at https://github.com/tub-rip/ETAP

arxiv情報

提供元, 利用サービス

arxiv.jp, Google