In-Sensor & Neuromorphic Computing are all you need for Energy Efficient Computer Vision

要約

活性化のスパース性が高く、高価な積和演算 (MAC) の代わりに累算 (AC) を使用するため、ニューロモルフィック スパイキング ニューラル ネットワーク (SNN) は、いくつかのコンピューター ビジョン (CV
) アプリケーション。
ただし、ほとんどの既存の SNN は、許容可能な推論精度のために複数の時間ステップを必要とするため、リアルタイム展開が妨げられ、スパイク アクティビティが増加し、その結果、エネルギー消費が増加します。
最近の研究では、時間ステップの数を大幅に削減するために、SNN の最初の層でアナログ ピクセル値を直接供給する直接符号化が提案されました。
ダイレクト エンコーディングを使用した第 1 層 MAC のオーバーヘッドはディープ SNN では無視でき、SNN を使用した CV 処理は効率的ですが、イメージ センサーとダウンストリーム処理の間のデータ転送はかなりの帯域幅を消費し、総エネルギーを支配する可能性があります。
この懸念を軽減するために、画像認識タスクを対象とする SNN のインセンサー コンピューティング ハードウェアとソフトウェアの協調設計フレームワークを提案します。
当社のアプローチは、従来の CV 処理と比較して、センシングと処理の間の帯域幅を 12 ～ 96 倍削減し、結果として生じる総エネルギーを 2.32 倍削減し、ImageNet での精度を 3.8% 削減します。

要約(オリジナル)

Due to the high activation sparsity and use of accumulates (AC) instead of expensive multiply-and-accumulates (MAC), neuromorphic spiking neural networks (SNNs) have emerged as a promising low-power alternative to traditional DNNs for several computer vision (CV) applications. However, most existing SNNs require multiple time steps for acceptable inference accuracy, hindering real-time deployment and increasing spiking activity and, consequently, energy consumption. Recent works proposed direct encoding that directly feeds the analog pixel values in the first layer of the SNN in order to significantly reduce the number of time steps. Although the overhead for the first layer MACs with direct encoding is negligible for deep SNNs and the CV processing is efficient using SNNs, the data transfer between the image sensors and the downstream processing costs significant bandwidth and may dominate the total energy. To mitigate this concern, we propose an in-sensor computing hardware-software co-design framework for SNNs targeting image recognition tasks. Our approach reduces the bandwidth between sensing and processing by 12-96x and the resulting total energy by 2.32x compared to traditional CV processing, with a 3.8% reduction in accuracy on ImageNet.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google