SpikeNAS: A Fast Memory-Aware Neural Architecture Search Framework for Spiking Neural Network-based Autonomous Agents

要約

自律型モバイルエージェント（UAVやUGVなど）は、通常、ポータブルバッテリーで駆動するため、機械学習タスク（物体認識など）を解決するための低消費電力／エネルギーが期待される。このような要件はスパイキング・ニューラル・ネットワーク（SNN）によって満たすことができる。なぜなら、その生物学に着想を得たスパイクベースの演算は、高い精度と超低消費電力／エネルギー計算を提供するからである。現在のところ、SNNアーキテクチャのほとんどは、ニューロンのアーキテクチャや動作がSNNとは異なる人工ニューラルネットワークから派生したものであるか、自律型モバイルエージェントの基礎となる処理ハードウェアのメモリバジェットを考慮せずに開発されたものである。これらの限界は、SNNが精度と効率においてその潜在能力をフルに発揮することを妨げている。そこで我々は、自律移動エージェントから与えられたメモリバジェットの下で、高精度で適切なSNNアーキテクチャを素早く見つける、SNNのための新しい高速メモリ考慮神経アーキテクチャ探索(NAS)フレームワークであるSpikeNASを提案する。そのために、我々のSpikeNASは、ネットワーク操作が精度に与える影響の分析、学習品質を向上させるためのネットワークアーキテクチャの改良、高速なメモリを考慮した探索アルゴリズムの開発という、いくつかの重要なステップを採用している。実験の結果、我々のSpikeNASは、与えられたメモリバジェットを満たしながら、最新技術と比較して探索時間を改善し、高い精度を維持することが示された（例えば、Nvidia RTX 6000 Ada GPUマシンを用いたCIFAR100において、4.4倍の探索速度と1.3%の精度改善）。これにより、メモリ制約のある自律移動エージェントに適切なSNNアーキテクチャを迅速に提供することができる。

要約(オリジナル)

Autonomous mobile agents (e.g., UAVs and UGVs) are typically expected to incur low power/energy consumption for solving machine learning tasks (such as object recognition), as these mobile agents are usually powered by portable batteries. These requirements can be fulfilled by Spiking Neural Networks (SNNs), since their bio-inspired spike-based operations offer high accuracy and ultra low-power/energy computation. Currently, most of the SNN architectures are derived from Artificial Neural Networks whose neurons’ architectures and operations are different from SNNs, or developed without considering memory budgets from the underlying processing hardware of autonomous mobile agents. These limitations hinder SNNs from reaching their full potential in accuracy and efficiency. Toward this, we propose SpikeNAS, a novel fast memory-aware neural architecture search (NAS) framework for SNNs that quickly finds an appropriate SNN architecture with high accuracy under the given memory budgets from autonomous mobile agents. To do this, our SpikeNAS employs several key steps: analyzing the impacts of network operations on the accuracy, enhancing the network architecture to improve the learning quality, and developing a fast memory-aware search algorithm. The experimental results show that our SpikeNAS improves the searching time and maintains high accuracy as compared to state-of-the-art while meeting the given memory budgets (e.g., 4.4x faster search with 1.3% accuracy improvement for CIFAR100, using an Nvidia RTX 6000 Ada GPU machine), thereby quickly providing the appropriate SNN architecture for the memory-constrained autonomous mobile agents.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL