Neuromorphic Drone Detection: an Event-RGB Multimodal Approach

要約

近年、ドローンの検出が急速に大きな関心を集めています。封じ込められた大きさの高速で移動する物体が悪意やテロ攻撃に利用される可能性があるため、検出および識別のための正確で復元力のあるシステムの必要性が注目されています。
そういった要素。
RGB データに基づく物体検出に関する広範な文献や研究が存在しますが、UAV の検出に適用した場合、そのようなモダリティの限界を認識することも重要です。
実際、ドローンの検出には、高速で移動する物体やダイナミック レンジの高いシーン、さらに悪いことに照明レベルが乏しいなど、いくつかの課題が生じます。
一方、ニューロモーフィック カメラは、RGB カメラでは困難な状況でも、正確かつ豊富な時空間情報を保持できます。
これらは、高速で移動するオブジェクトと乏しい照明設定の両方に対して耐性がありますが、シーン内のオブジェクトが静止している場合は情報が急速に失われる傾向があります。
これに関連して、マルチモーダル データを活用して両方の分野の長所を活用し、両方のドメインを統合するための新しいモデルを紹介します。
この目的を達成するために、3.5 時間以上のマルチモーダル注釈付き記録からなる新しい時空間同期された Event-RGB ドローン検出データセットである NeRDD (Neuromorphic-RGB Drone Detection) もリリースします。

要約(オリジナル)

In recent years, drone detection has quickly become a subject of extreme interest: the potential for fast-moving objects of contained dimensions to be used for malicious intents or even terrorist attacks has posed attention to the necessity for precise and resilient systems for detecting and identifying such elements. While extensive literature and works exist on object detection based on RGB data, it is also critical to recognize the limits of such modality when applied to UAVs detection. Detecting drones indeed poses several challenges such as fast-moving objects and scenes with a high dynamic range or, even worse, scarce illumination levels. Neuromorphic cameras, on the other hand, can retain precise and rich spatio-temporal information in situations that are challenging for RGB cameras. They are resilient to both high-speed moving objects and scarce illumination settings, while prone to suffer a rapid loss of information when the objects in the scene are static. In this context, we present a novel model for integrating both domains together, leveraging multimodal data to take advantage of the best of both worlds. To this end, we also release NeRDD (Neuromorphic-RGB Drone Detection), a novel spatio-temporally synchronized Event-RGB Drone detection dataset of more than 3.5 hours of multimodal annotated recordings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google