SpikeNAS: A Fast Memory-Aware Neural Architecture Search Framework for Spiking Neural Network-based Autonomous Agents

要約

自律型モバイル エージェント (UAV や UGV など) は通常、ポータブル バッテリーで駆動されるため、機械学習タスク (物体認識など) を解決するために消費電力/エネルギー消費が低いことが期待されます。
これらの要件は、スパイク ニューラル ネットワーク (SNN) によって満たすことができます。これは、生体からインスピレーションを得たスパイク ベースの演算により、高精度と超低電力/エネルギーの計算が実現されるためです。
現在、SNN アーキテクチャのほとんどは、ニューロンのアーキテクチャと動作が SNN とは異なる人工ニューラル ネットワークから派生しているか、自律モバイル エージェントの基礎となる処理ハードウェアからのメモリ バジェットを考慮せずに開発されています。
これらの制限により、SNN の精度と効率性が最大限に発揮されることが妨げられます。
これに向けて、自律モバイルエージェントから与えられたメモリバジェットの下で適切な SNN アーキテクチャを高精度で迅速に見つける、SNN 用の新しい高速メモリ認識ニューラル アーキテクチャ検索 (NAS) フレームワークである SpikeNAS を提案します。
これを実現するために、当社の SpikeNAS はいくつかの重要なステップを採用しています。それは、精度に対するネットワーク操作の影響の分析、学習品質を向上させるためのネットワーク アーキテクチャの強化、および高速メモリ対応検索アルゴリズムの開発です。
実験結果は、当社の SpikeNAS は、指定されたメモリ バジェットを満たしながら、最先端のものと比較して検索時間を短縮し、高精度を維持することを示しています (例: Nvidia RTX を使用した場合、CIFAR100 では 4.4 倍の高速検索と 1.3% の精度向上)
6000 Ada GPU マシン）により、メモリに制約のある自律モバイル エージェントに適切な SNN アーキテクチャを迅速に提供します。

要約(オリジナル)

Autonomous mobile agents (e.g., UAVs and UGVs) are typically expected to incur low power/energy consumption for solving machine learning tasks (such as object recognition), as these mobile agents are usually powered by portable batteries. These requirements can be fulfilled by Spiking Neural Networks (SNNs), since their bio-inspired spike-based operations offer high accuracy and ultra low-power/energy computation. Currently, most of the SNN architectures are derived from Artificial Neural Networks whose neurons’ architectures and operations are different from SNNs, or developed without considering memory budgets from the underlying processing hardware of autonomous mobile agents. These limitations hinder SNNs from reaching their full potential in accuracy and efficiency. Toward this, we propose SpikeNAS, a novel fast memory-aware neural architecture search (NAS) framework for SNNs that quickly finds an appropriate SNN architecture with high accuracy under the given memory budgets from autonomous mobile agents. To do this, our SpikeNAS employs several key steps: analyzing the impacts of network operations on the accuracy, enhancing the network architecture to improve the learning quality, and developing a fast memory-aware search algorithm. The experimental results show that our SpikeNAS improves the searching time and maintains high accuracy as compared to state-of-the-art while meeting the given memory budgets (e.g., 4.4x faster search with 1.3% accuracy improvement for CIFAR100, using an Nvidia RTX 6000 Ada GPU machine), thereby quickly providing the appropriate SNN architecture for the memory-constrained autonomous mobile agents.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google