Improving equilibrium propagation without weight symmetry through Jacobian homeostasis

要約

平衡伝播 (EP) は、生物学的またはアナログのニューロモルフィック基板上のニューラル ネットワークの勾配を計算するための誤差逆伝播アルゴリズム (BP) に代わる強力な代替手段です。
それでも、不偏勾配を効率的に推定するには、このアルゴリズムには重み対称性と微小な平衡摂動、つまりナッジが必要です。
どちらの要件も物理システムに実装するのは困難です。
しかし、実際には、有限ナッジによって導入されるバイアスによって重みの非対称性が隠蔽される可能性があるため、重みの非対称性がその適用性に影響を与えるかどうか、またどのように影響するかは不明です。
この問題に対処するために、重み対称性なしで定式化できる一般化 EP を研究し、バイアスの 2 つの原因を分析的に分離します。
複素微分可能な非対称ネットワークの場合、コーシー積分を介して正確な導関数を推定できるため、有限ナッジが問題を引き起こさないことを示します。
対照的に、重みの非対称性はバイアスを導入し、BP と比較して EP のニューロン エラー ベクトルの位置合わせが不十分なため、タスクのパフォーマンスが低下します。
この問題を軽減するために、ネットワークの固定点におけるヤコビアンの機能的非対称性に直接ペナルティを与える新しい恒常性目標を提案します。
このホメオスタシス目標により、ImageNet 32​​x32 などの複雑なタスクを解決するネットワークの能力が大幅に向上します。
私たちの結果は、基板の緩和ダイナミクスに依存する学習アルゴリズムに対する物理ネットワークの不完全性の悪影響を研究し、軽減するための理論的基礎を築きました。

要約(オリジナル)

Equilibrium propagation (EP) is a compelling alternative to the backpropagation of error algorithm (BP) for computing gradients of neural networks on biological or analog neuromorphic substrates. Still, the algorithm requires weight symmetry and infinitesimal equilibrium perturbations, i.e., nudges, to estimate unbiased gradients efficiently. Both requirements are challenging to implement in physical systems. Yet, whether and how weight asymmetry affects its applicability is unknown because, in practice, it may be masked by biases introduced through the finite nudge. To address this question, we study generalized EP, which can be formulated without weight symmetry, and analytically isolate the two sources of bias. For complex-differentiable non-symmetric networks, we show that the finite nudge does not pose a problem, as exact derivatives can still be estimated via a Cauchy integral. In contrast, weight asymmetry introduces bias resulting in low task performance due to poor alignment of EP’s neuronal error vectors compared to BP. To mitigate this issue, we present a new homeostatic objective that directly penalizes functional asymmetries of the Jacobian at the network’s fixed point. This homeostatic objective dramatically improves the network’s ability to solve complex tasks such as ImageNet 32×32. Our results lay the theoretical groundwork for studying and mitigating the adverse effects of imperfections of physical networks on learning algorithms that rely on the substrate’s relaxation dynamics.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google