DOTIE — Detecting Objects through Temporal Isolation of Events using a Spiking Architecture

要約

ビジョンベースの自律航法システムは、障害物を回避するために高速かつ正確な物体検出アルゴリズムに依存しています。このようなシステム用に設計されたアルゴリズムやセンサーは、配備に使用されるハードウェアのエネルギーが限られているため、計算効率が高い必要があります。生物に着想を得たイベントカメラは、その速度、エネルギー効率、照明条件の変化に対する堅牢性から、このようなシステムのビジョンセンサーとして良い候補となります。しかし、従来のコンピュータビジョンアルゴリズムでは、光の強さやテクスチャなどの測光的な特徴がないため、イベントベースの出力には対応できていない。本研究では、イベントに内在する時間情報を利用し、移動物体を効率的に検出する新規な手法を提案する。本手法は、軽量なスパイク神経アーキテクチャからなり、対応する物体の速度に基づいてイベントを分離することが可能である。この分離された事象は、さらに空間的にグループ化され、物体の境界を決定する。この物体検出法は、非同期かつカメラノイズに頑健である。また、既存のイベントベースアルゴリズムが失敗するような、背景の静的物体によって生成されるイベントがあるシナリオにおいても、良好な性能を示す。本アーキテクチャを利用することで、自律航法システムが物体検出を行う際のレイテンシとエネルギーのオーバーヘッドを最小化できることを示す。

要約(オリジナル)

Vision-based autonomous navigation systems rely on fast and accurate object detection algorithms to avoid obstacles. Algorithms and sensors designed for such systems need to be computationally efficient, due to the limited energy of the hardware used for deployment. Biologically inspired event cameras are a good candidate as a vision sensor for such systems due to their speed, energy efficiency, and robustness to varying lighting conditions. However, traditional computer vision algorithms fail to work on event-based outputs, as they lack photometric features such as light intensity and texture. In this work, we propose a novel technique that utilizes the temporal information inherently present in the events to efficiently detect moving objects. Our technique consists of a lightweight spiking neural architecture that is able to separate events based on the speed of the corresponding objects. These separated events are then further grouped spatially to determine object boundaries. This method of object detection is both asynchronous and robust to camera noise. In addition, it shows good performance in scenarios with events generated by static objects in the background, where existing event-based algorithms fail. We show that by utilizing our architecture, autonomous navigation systems can have minimal latency and energy overheads for performing object detection.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL