TopSpark: A Timestep Optimization Methodology for Energy-Efficient Spiking Neural Networks on Autonomous Mobile Agents

要約

自律型モバイルエージェントは、通常バッテリーで駆動するため、多様な環境に適応しながらMLベースのタスクを完了するために、低消費電力/エネルギー効率の高い機械学習（ML）アルゴリズムが必要である。スパイクニューラルネットワーク(SNN)は、その疎な計算による低消費電力/エネルギー処理と、異なる環境に適応するための生物学的な学習メカニズムによる効率的なオンライン学習を提供することから、これらの要件を満たすことができる。最近の研究では、スパイクの連続（タイムステップ）を処理するための各ニューロンの計算時間を短縮することで、SNNのエネルギー消費量を最適化することができるとされています。しかし、最新の技術では、推論時のみタイムステップの設定を決定するために、集中的な設計検索に頼っているため、SNNが訓練と推論の両方でさらなるエネルギー効率向上を達成することを妨げています。また、これらの技術は、SNNが実行時に効率的なオンライン学習を行うことを制限している。そこで我々は、適応的なタイムステップ削減を活用し、タイムステップ削減を行わないSNNの精度に近い精度を保ちつつ、訓練と推論の両方でエネルギー効率の良いSNN処理を可能にする新しい手法、TopSparkを提案します。TopSparkのアイデアは、異なるタイムステップが精度に与える影響の分析、異なるタイムステップで精度に大きな影響を与えるニューロンパラメータの特定、少ないスパイク活動でSNNの学習と推論を効果的に行うためのパラメータ強化の採用、設計要件を満たすための精度、待ち時間、エネルギーのトレードオフ戦略の開発などです。その結果、TopSparkは、異なるネットワークサイズ、学習ルール、ワークロードにおいて、SNNのレイテンシを平均3.9倍、エネルギー消費をトレーニングで3.5倍、推論で3.3倍削減し、タイムステップ削減なしでSNNの精度を2％以内に維持することができました。

要約(オリジナル)

Autonomous mobile agents require low-power/energy-efficient machine learning (ML) algorithms to complete their ML-based tasks while adapting to diverse environments, as mobile agents are usually powered by batteries. These requirements can be fulfilled by Spiking Neural Networks (SNNs) as they offer low power/energy processing due to their sparse computations and efficient online learning with bio-inspired learning mechanisms for adapting to different environments. Recent works studied that the energy consumption of SNNs can be optimized by reducing the computation time of each neuron for processing a sequence of spikes (timestep). However, state-of-the-art techniques rely on intensive design searches to determine fixed timestep settings for only inference, thereby hindering SNNs from achieving further energy efficiency gains in both training and inference. These techniques also restrict SNNs from performing efficient online learning at run time. Toward this, we propose TopSpark, a novel methodology that leverages adaptive timestep reduction to enable energy-efficient SNN processing in both training and inference, while keeping its accuracy close to the accuracy of SNNs without timestep reduction. The ideas of TopSpark include analyzing the impact of different timesteps on the accuracy; identifying neuron parameters that have a significant impact on accuracy in different timesteps; employing parameter enhancements that make SNNs effectively perform learning and inference using less spiking activity; and developing a strategy to trade-off accuracy, latency, and energy to meet the design requirements. The results show that, TopSpark saves the SNN latency by 3.9x as well as energy consumption by 3.5x for training and 3.3x for inference on average, across different network sizes, learning rules, and workloads, while maintaining the accuracy within 2% of SNNs without timestep reduction.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL