A Hybrid ANN-SNN Architecture for Low-Power and Low-Latency Visual Perception

要約

Spiking Neural Networks (SNN) は、バイオに着想を得たニューラル ネットワークのクラスであり、非同期でスパースな処理を通じてエッジ デバイスに低電力で低レイテンシの推論をもたらすことを約束します。
ただし、SNN は時間モデルであるため、従来の人工ニューラル ネットワーク (ANN) と同等の予測を生成するために表現状態に大きく依存しています。
これらの状態は、長い過渡期間の後にのみ収束し、入力データなしで急速に減衰するため、レイテンシが高くなり、消費電力が大きくなり、精度が低下します。
この作業は、低レートで実行される補助 ANN で状態を初期化することにより、この問題に対処します。
次に、SNN は状態を使用して、次の初期化フェーズまで高い時間分解能で予測を生成します。
したがって、私たちのハイブリッド ANN-SNN モデルは、両方の長所を組み合わせています。ANN のおかげで、長時間の状態遷移や状態減衰の影響を受けず、SNN のおかげで、高い時間分解能、低レイテンシ、低消費電力で予測を生成できます。
イベントベースの 2D および 3D の人間の姿勢推定のタスクについて、同じ推論レートで実行した場合、完全な ANN の対応物と比較して、この方法が 88% 少ない電力を消費し、パフォーマンスがわずか 4% 低下することを示します。
さらに、SNN と比較すると、私たちの方法は 74% 低いエラーを達成します。
したがって、この研究は、ANN と SNN を使用してそれぞれの利点を最大化する方法についての新しい理解を提供します。

要約(オリジナル)

Spiking Neural Networks (SNN) are a class of bio-inspired neural networks that promise to bring low-power and low-latency inference to edge devices through asynchronous and sparse processing. However, being temporal models, SNNs depend heavily on expressive states to generate predictions on par with classical artificial neural networks (ANNs). These states converge only after long transient periods, and quickly decay without input data, leading to higher latency, power consumption, and lower accuracy. This work addresses this issue by initializing the state with an auxiliary ANN running at a low rate. The SNN then uses the state to generate predictions with high temporal resolution until the next initialization phase. Our hybrid ANN-SNN model thus combines the best of both worlds: It does not suffer from long state transients and state decay thanks to the ANN, and can generate predictions with high temporal resolution, low latency, and low power thanks to the SNN. We show for the task of event-based 2D and 3D human pose estimation that our method consumes 88% less power with only a 4% decrease in performance compared to its fully ANN counterparts when run at the same inference rate. Moreover, when compared to SNNs, our method achieves a 74% lower error. This research thus provides a new understanding of how ANNs and SNNs can be used to maximize their respective benefits.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google