TOFFE — Temporally-binned Object Flow from Events for High-speed and Energy-Efficient Object Detection and Tracking

要約

物体の検出と追跡は、ロボット システムでの完全自律ナビゲーションを可能にするために不可欠な認識タスクです。
小型ドローンなどのエッジロボットシステムは、限られたリソースで複雑な操作を高速で実行する必要があるため、基盤となるアルゴリズムとハードウェアに厳しい制約が課せられます。
従来、フレームベースのカメラは、豊富な空間情報と簡素化された同期センシング機能により、視覚ベースの認識に使用されてきました。
ただし、フレーム間で詳細な情報を取得すると、多くのエネルギー消費が発生するため、必要ない場合もあります。
さらに、時間解像度が低いため、高速モーション シナリオでは効果がありません。
イベントベースのカメラは、非常に高い時間分解能と低消費電力で強度レベルの変化のみを捕捉することで、生物学にヒントを得たソリューションを提供し、高速モーション シナリオに最適です。
ただし、その非同期でスパースな出力は、従来の深層学習手法にはネイティブには適していません。
この研究では、オブジェクト フローと呼ばれる、イベントベースのオブジェクトの動き推定 (姿勢、方向、速度の推定を含む) を実行するための軽量ハイブリッド フレームワークである TOFFE を提案します。
TOFFE は、バイオからインスピレーションを得たスパイキング ニューラル ネットワーク (SNN) と従来のアナログ ニューラル ネットワーク (ANN) を統合し、トレーニングを簡単にしながら、高い時間分解能でイベントを効率的に処理します。
さらに、TOFFE をトレーニングするための高速オブジェクトの動きを含む新しいイベントベースの合成データセットを紹介します。
実験結果によると、TOFFE は、以前のイベントベースと比較して、エッジ GPU (Jetson TX2)/ハイブリッド ハードウェア (Loihi-2 および Jetson TX2) でエネルギー消費量を 5.7 倍/8.3 倍削減し、レイテンシーを 4.6 倍/5.8 倍削減することができました。
物体検出ベースライン。

要約(オリジナル)

Object detection and tracking is an essential perception task for enabling fully autonomous navigation in robotic systems. Edge robot systems such as small drones need to execute complex maneuvers at high-speeds with limited resources, which places strict constraints on the underlying algorithms and hardware. Traditionally, frame-based cameras are used for vision-based perception due to their rich spatial information and simplified synchronous sensing capabilities. However, obtaining detailed information across frames incurs high energy consumption and may not even be required. In addition, their low temporal resolution renders them ineffective in high-speed motion scenarios. Event-based cameras offer a biologically-inspired solution to this by capturing only changes in intensity levels at exceptionally high temporal resolution and low power consumption, making them ideal for high-speed motion scenarios. However, their asynchronous and sparse outputs are not natively suitable with conventional deep learning methods. In this work, we propose TOFFE, a lightweight hybrid framework for performing event-based object motion estimation (including pose, direction, and speed estimation), referred to as Object Flow. TOFFE integrates bio-inspired Spiking Neural Networks (SNNs) and conventional Analog Neural Networks (ANNs), to efficiently process events at high temporal resolutions while being simple to train. Additionally, we present a novel event-based synthetic dataset involving high-speed object motion to train TOFFE. Our experimental results show that TOFFE achieves 5.7x/8.3x reduction in energy consumption and 4.6x/5.8x reduction in latency on edge GPU(Jetson TX2)/hybrid hardware(Loihi-2 and Jetson TX2), compared to previous event-based object detection baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google