FE-DeTr: Keypoint Detection and Tracking in Low-quality Image Frames with Events

要約

従来の画像フレームにおけるキーポイントの検出と追跡は、モーション ブラーや極端な照明条件などの画質の問題によって損なわれることがよくあります。
イベント カメラは、高い時間解像度と高いダイナミック レンジにより、これらの課題に対する潜在的な解決策を提供します。
ただし、イベント データに固有のノイズがあるため、実際のアプリケーションではパフォーマンスが制限されます。
この論文では、画像フレームとイベント ストリームからの補完的な情報を融合して、より堅牢なキーポイントの検出と追跡を実現することを提唱しています。
具体的には、画像フレームからのテクスチャおよび構造情報とイベントストリームからの高時間解像度の動き情報を融合する新しいキーポイント検出ネットワーク、すなわちFE-DeTrを提案します。
ネットワークは一時的な応答の一貫性を監視に活用し、安定した効率的なキーポイント検出を保証します。
さらに、堅牢なキーポイント追跡のために時空間的最近傍検索戦略を使用します。
極端な条件下でキャプチャされた画像フレームとイベント データの両方を特徴とする新しいデータセットで広範な実験が行われます。
実験結果は、既存のフレームベースおよびイベントベースの両方の方法よりも、私たちの方法の優れたパフォーマンスを裏付けています。

要約(オリジナル)

Keypoint detection and tracking in traditional image frames are often compromised by image quality issues such as motion blur and extreme lighting conditions. Event cameras offer potential solutions to these challenges by virtue of their high temporal resolution and high dynamic range. However, they have limited performance in practical applications due to their inherent noise in event data. This paper advocates fusing the complementary information from image frames and event streams to achieve more robust keypoint detection and tracking. Specifically, we propose a novel keypoint detection network that fuses the textural and structural information from image frames with the high-temporal-resolution motion information from event streams, namely FE-DeTr. The network leverages a temporal response consistency for supervision, ensuring stable and efficient keypoint detection. Moreover, we use a spatio-temporal nearest-neighbor search strategy for robust keypoint tracking. Extensive experiments are conducted on a new dataset featuring both image frames and event data captured under extreme conditions. The experimental results confirm the superior performance of our method over both existing frame-based and event-based methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google