Unconditional stability of a recurrent neural circuit implementing divisive normalization

要約

反復性ニューラル モデルの安定性は、特にシームレスにトレーニングできる生物学的に妥当な神経力学モデルの開発において、大きな課題となります。
従来の皮質回路モデルは、動的システムにおける広範な非線形性によりトレーニングが難しいことで知られており、課すのが難しい非線形安定性制約を伴う最適化問題が発生します。
逆に、リカレント ニューラル ネットワーク (RNN) は、逐次データを含むタスクには優れていますが、生物学的な妥当性と解釈可能性が欠けています。
この研究では、動的分割正規化 (DN) を ORGaNIC の安定性にリンクすることで、これらの課題に対処します。ORGaNIC は、DN を動的に達成し、広範囲の神経生理学的現象をシミュレートすることが示されている、生物学的にもっともらしい回帰性皮質回路モデルです。
Lyapunov の間接法を使用することにより、再帰重み行列が恒等である場合の任意次元 ORGaNIC 回路の無条件局所安定性という顕著な特性を証明します。
したがって、ORGaNICを結合減衰調和発振器のシステムに接続すると、回路のエネルギー関数を導き出すことができ、回路と個々のニューロンが達成することを目的とする規範原理が得られます。
さらに、一般的な再帰重み行列について、2D モデルの安定性を証明し、安定性が高次元でも維持されることを経験的に実証します。
最後に、ORGaNIC は、その固有の安定性特性と適応時定数のおかげで、勾配の爆発、消失、振動の問題に対処するため、勾配のクリッピング/スケーリングを行わずに時間の経過とともにバックプロパゲーションによってトレーニングできることを示します。
RNN ベンチマークでモデルのパフォーマンスを評価すると、ORGaNIC は静的画像分類タスクでは代替の神経力学モデルを上回り、逐次タスクでは LSTM と同等のパフォーマンスを発揮することがわかりました。

要約(オリジナル)

Stability in recurrent neural models poses a significant challenge, particularly in developing biologically plausible neurodynamical models that can be seamlessly trained. Traditional cortical circuit models are notoriously difficult to train due to expansive nonlinearities in the dynamical system, leading to an optimization problem with nonlinear stability constraints that are difficult to impose. Conversely, recurrent neural networks (RNNs) excel in tasks involving sequential data but lack biological plausibility and interpretability. In this work, we address these challenges by linking dynamic divisive normalization (DN) to the stability of ORGaNICs, a biologically plausible recurrent cortical circuit model that dynamically achieves DN and has been shown to simulate a wide range of neurophysiological phenomena. By using the indirect method of Lyapunov, we prove the remarkable property of unconditional local stability for an arbitrary-dimensional ORGaNICs circuit when the recurrent weight matrix is the identity. We thus connect ORGaNICs to a system of coupled damped harmonic oscillators, which enables us to derive the circuit’s energy function, providing a normative principle of what the circuit, and individual neurons, aim to accomplish. Further, for a generic recurrent weight matrix, we prove the stability of the 2D model and demonstrate empirically that stability holds in higher dimensions. Finally, we show that ORGaNICs can be trained by backpropagation through time without gradient clipping/scaling, thanks to its intrinsic stability property and adaptive time constants, which address the problems of exploding, vanishing, and oscillating gradients. By evaluating the model’s performance on RNN benchmarks, we find that ORGaNICs outperform alternative neurodynamical models on static image classification tasks and perform comparably to LSTMs on sequential tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google