Backpropagation through space, time, and the brain

要約

時空間的な局所性制約に縛られたニューロンの物理的ネットワークが、どのようにして効率的な単位割り当てを行うことができるかは、依然として未解決の問題である。機械学習では、その答えは、空間と時間の両方を通じて、誤差バックプロパゲーションアルゴリズムによってほぼ普遍的に与えられる。しかし、このアルゴリズムは、特に時空間（非）局所性に関して、生物学的にありえない仮定に依存していることがよく知られている。リアルタイム・リカレント学習などの代替フォワードプロパゲーション・モデルは、局所性問題を部分的に解決するだけであるが、法外なストレージ要件のため、スケーリングの代償を払うだけである。我々は、物理的で動的なニューロンネットワークにおいて、完全に局所的な時空間的信用割り当てのための計算フレームワークである一般化潜在平衡（Generalized Latent Equilibrium：GLE）を導入する。まず、ニューロン-ローカルミスマッチに基づくエネルギーを定義し、そこから定常性によるニューロンダイナミクスと勾配降下によるパラメータダイナミクスの両方を導出する。結果として得られるダイナミクスは、連続時間のニューロンダイナミクスと連続的に活動する局所的シナプス可塑性を持つ深い皮質ネットワークにおける、空間と時間を介したバックプロパゲーションのリアルタイムで生物学的に妥当な近似として解釈することができる。特に、GLEは樹状木の形態を利用することで、単一ニューロンにおけるより複雑な情報の保存と処理を可能にする。また、生物学的ニューロンは膜電位に対して出力速度を位相シフトさせることができるが、これは情報伝播の両方向において不可欠である。順方向計算では、時間的に連続な入力をニューロン空間にマッピングし、時空間畳み込みを効果的に行うことができる。後方計算では、フィードバック信号の時間的反転が可能になり、その結果、有用なパラメータ更新に必要な隣接変数が近似される。

要約(オリジナル)

How physical networks of neurons, bound by spatio-temporal locality constraints, can perform efficient credit assignment, remains, to a large extent, an open question. In machine learning, the answer is almost universally given by the error backpropagation algorithm, through both space and time. However, this algorithm is well-known to rely on biologically implausible assumptions, in particular with respect to spatio-temporal (non-)locality. Alternative forward-propagation models such as real-time recurrent learning only partially solve the locality problem, but only at the cost of scaling, due to prohibitive storage requirements. We introduce Generalized Latent Equilibrium (GLE), a computational framework for fully local spatio-temporal credit assignment in physical, dynamical networks of neurons. We start by defining an energy based on neuron-local mismatches, from which we derive both neuronal dynamics via stationarity and parameter dynamics via gradient descent. The resulting dynamics can be interpreted as a real-time, biologically plausible approximation of backpropagation through space and time in deep cortical networks with continuous-time neuronal dynamics and continuously active, local synaptic plasticity. In particular, GLE exploits the morphology of dendritic trees to enable more complex information storage and processing in single neurons, as well as the ability of biological neurons to phase-shift their output rate with respect to their membrane potential, which is essential in both directions of information propagation. For the forward computation, it enables the mapping of time-continuous inputs to neuronal space, effectively performing a spatio-temporal convolution. For the backward computation, it permits the temporal inversion of feedback signals, which consequently approximate the adjoint variables necessary for useful parameter updates.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL