Tracking Any Point with Frame-Event Fusion Network at High Frame Rate

要約

画像フレームに基づく任意のポイントの追跡はフレーム レートによって制限されるため、高速シナリオでは不安定になり、現実世界のアプリケーションでは一般化が制限されます。
これらの制限を克服するために、我々は画像イベント融合ポイントトラッカーFE-TAPを提案します。FE-TAPは、画像フレームからのコンテキスト情報とイベントの高い時間解像度を組み合わせ、さまざまな困難な条件下で高フレームレートと堅牢なポイント追跡を実現します。
具体的には、イベントによって導かれる画像生成プロセスをモデル化するために、Evolution Fusion モジュール (EvoFusion) を設計しました。
このモジュールは、異なる周波数で動作する両方のモダリティからの貴重な情報を効果的に統合できます。
よりスムーズなポイントの軌道を実現するために、ポイントの軌道とフィーチャを繰り返し更新するトランスフォーマーベースの改良戦略を採用しました。
広範な実験により、私たちの方法が最先端のアプローチより優れていることが実証され、特に EDS データセットで予想される特徴の年齢が 24$\%$ 改善されました。
最後に、カスタム設計の高解像度画像イベント同期デバイスを使用して、実際の運転シナリオにおけるアルゴリズムの堅牢性を定性的に検証しました。
ソースコードは https://github.com/ljx1002/FE-TAP で公開されます。

要約(オリジナル)

Tracking any point based on image frames is constrained by frame rates, leading to instability in high-speed scenarios and limited generalization in real-world applications. To overcome these limitations, we propose an image-event fusion point tracker, FE-TAP, which combines the contextual information from image frames with the high temporal resolution of events, achieving high frame rate and robust point tracking under various challenging conditions. Specifically, we designed an Evolution Fusion module (EvoFusion) to model the image generation process guided by events. This module can effectively integrate valuable information from both modalities operating at different frequencies. To achieve smoother point trajectories, we employed a transformer-based refinement strategy that updates the point’s trajectories and features iteratively. Extensive experiments demonstrate that our method outperforms state-of-the-art approaches, particularly improving expected feature age by 24$\%$ on EDS datasets. Finally, we qualitatively validated the robustness of our algorithm in real driving scenarios using our custom-designed high-resolution image-event synchronization device. Our source code will be released at https://github.com/ljx1002/FE-TAP.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google