Fully Asynchronous Neuromorphic Perception for Mobile Robot Dodging with Loihi Chips

要約

自然生物におけるまばらで非同期のセンシングと処理は、超低遅延でエネルギー効率の高い知覚を実現します。
ニューロモーフィック ビジョン センサーとして知られるイベント カメラは、これらの特性を模倣するように設計されています。
ただし、疎な非同期イベント ストリームを完全に活用することは依然として困難です。
標準カメラの成熟したアルゴリズムの影響を受け、既存のイベントベースのアルゴリズムのほとんどは、イベント ストリームを処理する際に依然として「イベントのグループ」処理パラダイム (イベント フレーム、3D ボクセルなど) に依存しています。
このパラダイムは、イベント カメラの本来の目的から逸脱する、機能の損失、イベントのスタック、高い計算負荷などの問題に直面します。
これらの問題に対処するために、イベント カメラ、スパイキング ネットワーク、およびニューロモーフィック プロセッサ (Intel Loihi) を統合する、完全に非同期のニューロモーフィック パラダイムを提案します。
このパラダイムは、各イベントが到着すると忠実に非同期に処理することができ、生物学的な脳におけるスパイク駆動の信号処理を模倣します。
実際の移動ロボットの回避タスクに関して、提案されたパラダイムを既存の「イベントのグループ」処理パラダイムと詳細に比較します。
実験結果は、私たちのスキームが異なる時間窓と光条件でフレームベースの方法よりも優れたロバスト性を示すことを示しています。
さらに、組み込み Loihi プロセッサ上のスキームの推論あたりのエネルギー消費量は、省エネ モードを備えた NVIDIA Jetson Orin NX 上のイベント スパイク テンソル法のエネルギー消費量のわずか 4.30%、NVIDIA Jetson Orin NX 上のイベント フレーム法のエネルギー消費量の 1.64% です。
同じニューロモーフィックプロセッサ。
私たちが知る限り、実際の移動ロボット上で連続タスクを解決するために完全に非同期のニューロモーフィック パラダイムが実装されたのはこれが初めてです。

要約(オリジナル)

Sparse and asynchronous sensing and processing in natural organisms lead to ultra low-latency and energy-efficient perception. Event cameras, known as neuromorphic vision sensors, are designed to mimic these characteristics. However, fully utilizing the sparse and asynchronous event stream remains challenging. Influenced by the mature algorithms of standard cameras, most existing event-based algorithms still rely on the ‘group of events’ processing paradigm (e.g., event frames, 3D voxels) when handling event streams. This paradigm encounters issues such as feature loss, event stacking, and high computational burden, which deviates from the intended purpose of event cameras. To address these issues, we propose a fully asynchronous neuromorphic paradigm that integrates event cameras, spiking networks, and neuromorphic processors (Intel Loihi). This paradigm can faithfully process each event asynchronously as it arrives, mimicking the spike-driven signal processing in biological brains. We compare the proposed paradigm with the existing ‘group of events’ processing paradigm in detail on the real mobile robot dodging task. Experimental results show that our scheme exhibits better robustness than frame-based methods with different time windows and light conditions. Additionally, the energy consumption per inference of our scheme on the embedded Loihi processor is only 4.30% of that of the event spike tensor method on NVIDIA Jetson Orin NX with energy-saving mode, and 1.64% of that of the event frame method on the same neuromorphic processor. As far as we know, this is the first time that a fully asynchronous neuromorphic paradigm has been implemented for solving sequential tasks on real mobile robot.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google