Embedded event based object detection with spiking neural network

要約

イベントベースの物体検出 (OD) の複雑さは、かなりの課題を引き起こします。
スパイキング ニューラル ネットワーク (SNN) は有望な結果を示し、効率的なイベントベースの OD への道を開きます。
この成功にもかかわらず、組み込みデバイス上で効率的な SNN を実現する道は依然として課題です。
これは、タスクを実行するために必要なネットワークのサイズと、SNN の利点を活用するデバイスの機能によるものです。
「エッジ」デバイスを考慮した場合でも、通常は数十ワットを消費する組み込み GPU が使用されます。
これらの課題に対応するため、私たちの研究では、SPiking Low-power Event-based ArchiTecture (SPLEAT) アクセラレータを利用する組み込みニューロモーフィック テストベンチを導入しました。
Qualia フレームワークの拡張バージョンを使用すると、SPLEAT の FPGA 実装上でスパイキング ニューラル ネットワークをトレーニング、評価、量子化、展開できます。
このテストベンチを使用して、最先端の SNN ソリューションをロードし、専用ハードウェアにネットワークを展開することに関連するパフォーマンス損失を推定し、低電力スパイキング ニューラル用に特別に設計されたニューロモーフィック ハードウェア上で現実世界のイベントベースの OD を実行しました。
ネットワーク。
驚くべきことに、108 万個のパラメータを持つモデルを含む当社の組み込みスパイキング ソリューションは、予測あたり 490 mJ で効率的に動作します。

要約(オリジナル)

The complexity of event-based object detection (OD) poses considerable challenges. Spiking Neural Networks (SNNs) show promising results and pave the way for efficient event-based OD. Despite this success, the path to efficient SNNs on embedded devices remains a challenge. This is due to the size of the networks required to accomplish the task and the ability of devices to take advantage of SNNs benefits. Even when ‘edge’ devices are considered, they typically use embedded GPUs that consume tens of watts. In response to these challenges, our research introduces an embedded neuromorphic testbench that utilizes the SPiking Low-power Event-based ArchiTecture (SPLEAT) accelerator. Using an extended version of the Qualia framework, we can train, evaluate, quantize, and deploy spiking neural networks on an FPGA implementation of SPLEAT. We used this testbench to load a state-of-the-art SNN solution, estimate the performance loss associated with deploying the network on dedicated hardware, and run real-world event-based OD on neuromorphic hardware specifically designed for low-power spiking neural networks. Remarkably, our embedded spiking solution, which includes a model with 1.08 million parameters, operates efficiently with 490 mJ per prediction.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google