Multi-scale Evolutionary Neural Architecture Search for Deep Spiking Neural Networks

要約

タイトル：
深層スパイクニューラルネットワークのためのマルチスケール進化型ニューラルアーキテクチャ検索

要約：
– スパイキングニューラルネットワーク（SNN）は、離散的信号処理に優れた省エネ性だけでなく、多様なバイオプラスチシティを統合するための天然的な適性により、かなりの注目を集めています。
– しかし、多くのSNNは、既存のDNNの構造を直接採用しており、SNNのためにNeural Architecture Search（NAS）を自動的に設計することはほとんどありません。
– 本論文では、マルチスケール進化型ニューラルアーキテクチャ検索（MSE-NAS）を提案し、マイクロ、メソ、マクロの脳のトポロジーを進化的検索空間として同時に考慮してSNNを設計します。
– MSE-NASは、脳にインスパイアされた間接評価関数である代表的な非類似行列（RDM）を通じて、個々のニューロンの操作、複数の回路モチーフの自己組織化統合、およびモチーフ間のグローバルな接続の進化を実現します。
– このトレーニングフリーの適応関数は、計算消費量とNASの時間を大幅に削減し、そのタスク無関係の性質により、検索されたSNNは優れた転移性とスケーラビリティを示すことができます。
– 大規模な実験により、提案されたアルゴリズムが静的なデータセット（CIFAR10、CIFAR100）およびニューロモーフィックなデータセット（CIFAR10-DVSおよびDVS128-Gesture）で短いシミュレーションステップで最高水準の性能を発揮することが示されました。

要約(オリジナル)

Spiking Neural Networks (SNNs) have received considerable attention not only for their superiority in energy efficient with discrete signal processing, but also for their natural suitability to integrate multi-scale biological plasticity. However, most SNNs directly adopt the structure of the well-established DNN, rarely automatically design Neural Architecture Search (NAS) for SNNs. The neural motifs topology, modular regional structure and global cross-brain region connection of the human brain are the product of natural evolution and can serve as a perfect reference for designing brain-inspired SNN architecture. In this paper, we propose a Multi-Scale Evolutionary Neural Architecture Search (MSE-NAS) for SNN, simultaneously considering micro-, meso- and macro-scale brain topologies as the evolutionary search space. MSE-NAS evolves individual neuron operation, self-organized integration of multiple circuit motifs, and global connectivity across motifs through a brain-inspired indirect evaluation function, Representational Dissimilarity Matrices (RDMs). This training-free fitness function could greatly reduce computational consumption and NAS’s time, and its task-independent property enables the searched SNNs to exhibit excellent transferbility and scalability. Extensive experiments demonstrate that the proposed algorithm achieves state-of-the-art (SOTA) performance with shorter simulation steps on static datasets (CIFAR10, CIFAR100) and neuromorphic datasets (CIFAR10-DVS and DVS128-Gesture). The thorough analysis also illustrates the significant performance improvement and consistent bio-interpretability deriving from the topological evolution at different scales and the RDMs fitness function.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI