EV-Flying: an Event-based Dataset for In-The-Wild Recognition of Flying Objects

要約

航空物体の監視は、セキュリティ、野生生物の保全、環境研究に不可欠です。
従来のRGBベースのアプローチは、特に昆虫やドローンなどの小さな飛行エンティティにとって、スケールバリエーション、モーションブラー、高速オブジェクトの動きなどの課題と闘っています。
この作業では、飛行物体、特に長期的な予測可能なパターンに従わない可能性のある動物を検出および認識するためのイベントベースのビジョンの可能性を探ります。
イベントカメラは、高い時間分解能、低レイテンシ、およびモーションブラーに対する堅牢性を提供し、このタスクに適しています。
飛行物体のイベントベースのデータセットであるEV-Flyingを紹介します。これは、手動で注釈付きの鳥、昆虫、ドローンが時空間の境界ボックスとトラックアイデンティティを備えたドローンを含むことを紹介します。
非同期イベントストリームを効果的に処理するために、ポイントネットに触発された軽量アーキテクチャを活用するポイントベースのアプローチを採用しています。
私たちの研究では、ポイントクラウドベースのイベント表現を使用して、飛行オブジェクトの分類を調査しています。
提案されたデータセットと方法論は、実際のシナリオでより効率的で信頼性の高い空中オブジェクト認識への道を開きます。

要約(オリジナル)

Monitoring aerial objects is crucial for security, wildlife conservation, and environmental studies. Traditional RGB-based approaches struggle with challenges such as scale variations, motion blur, and high-speed object movements, especially for small flying entities like insects and drones. In this work, we explore the potential of event-based vision for detecting and recognizing flying objects, in particular animals that may not follow short and long-term predictable patters. Event cameras offer high temporal resolution, low latency, and robustness to motion blur, making them well-suited for this task. We introduce EV-Flying, an event-based dataset of flying objects, comprising manually annotated birds, insects and drones with spatio-temporal bounding boxes and track identities. To effectively process the asynchronous event streams, we employ a point-based approach leveraging lightweight architectures inspired by PointNet. Our study investigates the classification of flying objects using point cloud-based event representations. The proposed dataset and methodology pave the way for more efficient and reliable aerial object recognition in real-world scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google