Fast gradient-free activation maximization for neurons in spiking neural networks

要約

生物学的および人工的なニューラル ネットワークの要素は、特定の認知機能に対する選択性によって説明できます。
これらの機能を理解することは、ニューラル ネットワークの内部動作を理解するために重要です。
刺激に対する反応が不明で区別できないニューロンなどの生きたシステムの場合、これらの特徴を明らかにする唯一の方法は、さまざまな刺激の大規模なセットにさらすフィードバック ループを介することです。
ニューロンの反応を最大化するには、これらの刺激の特性を繰り返し変更する必要があります。
このフィードバック ループを生物学的ニューラル ネットワークに利用するには、最小限の反復回数で特定のニューロンの活性化を最大化する刺激に到達するために、フィードバック ループを迅速かつ効率的に実行することが重要です。
ここでは、そのようなループを効率的に設計するフレームワークを紹介します。
私たちは、生きた脳内のニューロンの非同期スパイキング活動をシミュレートするモデルである人工スパイキング ニューラル ネットワーク (SNN) でのテストに成功しました。
活性化最大化のための最適化手法は、離散活性化関数の低ランク Tensor Train 分解に基づいています。
最適化空間は、SN-GAN または VQ-VAE 生成モデルによって生成された画像の潜在パラメーター空間です。
私たちの知る限り、効果的な AM が SNN に適用されたのはこれが初めてです。
私たちは、トレーニング中の人工ニューロンの最適刺激の変化を追跡し、トレーニングの初期段階および畳み込みスパイキング ネットワークの初期層で、選択性の高いニューロンがすでに形成されている可能性があることを示します。
この洗練された最適な刺激の形成は、分類精度の向上につながります。
一部のニューロン、特により深い層では、学習中に選択する概念が徐々に変化する可能性があり、モデルのパフォーマンスに対するニューロンの重要性を説明できる可能性があります。

要約(オリジナル)

Elements of neural networks, both biological and artificial, can be described by their selectivity for specific cognitive features. Understanding these features is important for understanding the inner workings of neural networks. For a living system, such as a neuron, whose response to a stimulus is unknown and not differentiable, the only way to reveal these features is through a feedback loop that exposes it to a large set of different stimuli. The properties of these stimuli should be varied iteratively in order to maximize the neuronal response. To utilize this feedback loop for a biological neural network, it is important to run it quickly and efficiently in order to reach the stimuli that maximizes certain neurons’ activation with the least number of iterations possible. Here we present a framework with an efficient design for such a loop. We successfully tested it on an artificial spiking neural network (SNN), which is a model that simulates the asynchronous spiking activity of neurons in living brains. Our optimization method for activation maximization is based on the low-rank Tensor Train decomposition of the discrete activation function. The optimization space is the latent parameter space of images generated by SN-GAN or VQ-VAE generative models. To our knowledge, this is the first time that effective AM has been applied to SNNs. We track changes in the optimal stimuli for artificial neurons during training and show that highly selective neurons can form already in the early epochs of training and in the early layers of a convolutional spiking network. This formation of refined optimal stimuli is associated with an increase in classification accuracy. Some neurons, especially in the deeper layers, may gradually change the concepts they are selective for during learning, potentially explaining their importance for model performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google