Backpropagation through space, time, and the brain

要約

時空間的な局所性の制約に束縛されたニューロンの物理ネットワークがどのようにして効率的なクレジット割り当てを実行できるかは、大部分が未解決の疑問のままです。
機械学習では、空間と時間の両方を通じて、誤差逆伝播アルゴリズムによってほぼ普遍的に答えが得られます。
ただし、このアルゴリズムは、特に時空間 (非) 局所性に関して、生物学的にありえない仮定に依存していることがよく知られています。
リアルタイム再帰学習などの代替の順伝播モデルは局所性の問題を部分的にしか解決しませんが、法外なストレージ要件によりスケーリングが犠牲になります。
ニューロンの物理的で動的ネットワークにおける完全に局所的な時空間クレジット割り当てのための計算フレームワークである一般化潜在平衡 (GLE) を紹介します。
まず、ニューロンの局所的な不一致に基づいてエネルギーを定義し、そこから定常性によるニューロンのダイナミクスと勾配降下によるパラメーターのダイナミクスの両方を導き出します。
結果として生じるダイナミクスは、連続時間のニューロンダイナミクスと継続的にアクティブな局所的なシナプス可塑性を備えた深部皮質ネットワークにおける時空間を介したバックプロパゲーションのリアルタイムで生物学的に妥当な近似として解釈できます。
特に、GLE は樹状木の形態を利用して、単一ニューロンでのより複雑な情報の保存と処理を可能にするだけでなく、膜電位に対して出力レートを位相シフトする生物学的ニューロンの能力（両方向に不可欠）を可能にします。
情報の伝播のこと。
順方向計算の場合、時間連続入力のニューロン空間へのマッピングが可能になり、時空間畳み込みを効果的に実行できます。
逆方向の計算では、フィードバック信号の時間的反転が可能になり、その結果、有用なパラメータの更新に必要な随伴変数が近似されます。

要約(オリジナル)

How physical networks of neurons, bound by spatio-temporal locality constraints, can perform efficient credit assignment, remains, to a large extent, an open question. In machine learning, the answer is almost universally given by the error backpropagation algorithm, through both space and time. However, this algorithm is well-known to rely on biologically implausible assumptions, in particular with respect to spatio-temporal (non-)locality. Alternative forward-propagation models such as real-time recurrent learning only partially solve the locality problem, but only at the cost of scaling, due to prohibitive storage requirements. We introduce Generalized Latent Equilibrium (GLE), a computational framework for fully local spatio-temporal credit assignment in physical, dynamical networks of neurons. We start by defining an energy based on neuron-local mismatches, from which we derive both neuronal dynamics via stationarity and parameter dynamics via gradient descent. The resulting dynamics can be interpreted as a real-time, biologically plausible approximation of backpropagation through space and time in deep cortical networks with continuous-time neuronal dynamics and continuously active, local synaptic plasticity. In particular, GLE exploits the morphology of dendritic trees to enable more complex information storage and processing in single neurons, as well as the ability of biological neurons to phase-shift their output rate with respect to their membrane potential, which is essential in both directions of information propagation. For the forward computation, it enables the mapping of time-continuous inputs to neuronal space, effectively performing a spatio-temporal convolution. For the backward computation, it permits the temporal inversion of feedback signals, which consequently approximate the adjoint variables necessary for useful parameter updates.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google