Interneurons accelerate learning dynamics in recurrent neural networks for statistical adaptation

要約

脳の初期の感覚系は、変動する入力統計に急速に適応しますが、これにはニューロン間の反復的なコミュニケーションが必要です。
機構的には、そのような反復的なコミュニケーションは多くの場合間接的であり、局所的な介在ニューロンによって媒介されます。
この研究では、直接の再帰接続と比較して、介在ニューロンを介して再帰通信を仲介することの計算上の利点を調査します。
この目的のために、入力を統計的に白色化する、数学的に扱いやすい 2 つのリカレント線形ニューラル ネットワークを検討します。1 つは直接のリカレント接続を持ち、もう 1 つはリカレント通信を仲介する介在ニューロンを持ちます。
対応する連続シナプスダイナミクスを解析し、ネットワークを数値的にシミュレーションすることにより、介在ニューロンを含むネットワークにおけるシナプスダイナミクスの収束時間 (それぞれ
.直接再帰接続) は、初期化のスペクトルに応じて対数的に (それぞれ線形に) スケールします。
私たちの結果は、介在ニューロンが、変化する入力統計に迅速に適応するために計算的に有用であることを示唆しています。
興味深いことに、介在ニューロンを含むネットワークは、直接リカレント接続を備えたネットワークのホワイトニング目標の過剰パラメータ化されたソリューションであるため、私たちの結果は、過剰パラメータ化されたフィードフォワード線形ニューラル ネットワークで観察される暗黙的な加速現象のリカレント線形ニューラル ネットワークの類似物とみなすことができます。

要約(オリジナル)

Early sensory systems in the brain rapidly adapt to fluctuating input statistics, which requires recurrent communication between neurons. Mechanistically, such recurrent communication is often indirect and mediated by local interneurons. In this work, we explore the computational benefits of mediating recurrent communication via interneurons compared with direct recurrent connections. To this end, we consider two mathematically tractable recurrent linear neural networks that statistically whiten their inputs — one with direct recurrent connections and the other with interneurons that mediate recurrent communication. By analyzing the corresponding continuous synaptic dynamics and numerically simulating the networks, we show that the network with interneurons is more robust to initialization than the network with direct recurrent connections in the sense that the convergence time for the synaptic dynamics in the network with interneurons (resp. direct recurrent connections) scales logarithmically (resp. linearly) with the spectrum of their initialization. Our results suggest that interneurons are computationally useful for rapid adaptation to changing input statistics. Interestingly, the network with interneurons is an overparameterized solution of the whitening objective for the network with direct recurrent connections, so our results can be viewed as a recurrent linear neural network analogue of the implicit acceleration phenomenon observed in overparameterized feedforward linear neural networks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google