Towards Efficient Deployment of Hybrid SNNs on Neuromorphic and Edge AI Hardware

要約

この論文では、ダイナミック ビジョン センサーによってキャプチャされたデータを処理するためにカスタマイズされた多用途の機械学習 (ML) システムを作成するための、ニューロモーフィック コンピューティングとエッジ コンピューティングの相乗効果の可能性を探ります。
PyTorch および Lava フレームワークを使用して、スパイキング ニューラル ネットワーク (SNN) と人工ニューラル ネットワーク (ANN) をブレンドしたハイブリッド モデルを構築およびトレーニングします。
当社のハイブリッド アーキテクチャは、時間的特徴抽出のための SNN と分類のための ANN を統合します。
このようなハイブリッド構造をハードウェアに導入する際の課題を詳しく掘り下げます。
具体的には、Intel の Neuromorphic Processor Loihi (SNN 用) および Jetson Nano (ANN 用) に個々のコンポーネントをデプロイします。
また、スパイク領域から非スパイク領域にデータを転送するためのアキュムレータ回路も提案します。
さらに、ニューロモーフィックおよびエッジ AI ハードウェアの異種システム上でハイブリッド SNN-ANN モデルの包括的なパフォーマンス分析を実行し、精度、遅延、電力、エネルギー消費を評価します。
私たちの調査結果は、ハイブリッド スパイキング ネットワークがすべてのメトリックにわたってベースライン ANN モデルを上回り、精度と遅延の点でベースライン SNN モデルを上回るパフォーマンスを示していることを示しています。

要約(オリジナル)

This paper explores the synergistic potential of neuromorphic and edge computing to create a versatile machine learning (ML) system tailored for processing data captured by dynamic vision sensors. We construct and train hybrid models, blending spiking neural networks (SNNs) and artificial neural networks (ANNs) using PyTorch and Lava frameworks. Our hybrid architecture integrates an SNN for temporal feature extraction and an ANN for classification. We delve into the challenges of deploying such hybrid structures on hardware. Specifically, we deploy individual components on Intel’s Neuromorphic Processor Loihi (for SNN) and Jetson Nano (for ANN). We also propose an accumulator circuit to transfer data from the spiking to the non-spiking domain. Furthermore, we conduct comprehensive performance analyses of hybrid SNN-ANN models on a heterogeneous system of neuromorphic and edge AI hardware, evaluating accuracy, latency, power, and energy consumption. Our findings demonstrate that the hybrid spiking networks surpass the baseline ANN model across all metrics and outperform the baseline SNN model in accuracy and latency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google