Prime and Modulate Learning: Generation of forward models with signed back-propagation and environmental cues

要約

学習に誤差逆伝播を使用するディープ ニューラル ネットワークは、勾配の爆発および消滅の問題に悩まされる可能性があります。
正規化技術や線形整流ユニットへの活性化関数の制限など、数多くの解決策が提案されています。
この研究では、特に順方向モデルの閉ループ学習に適用できる別のアプローチに従います。このアプローチでは、バックプロパゲーションが誤差信号の符号を排他的に使用して学習を準備する一方で、グローバル関連性信号が学習速度を調整します。
これは、局所的な可塑性と全体的な神経調節の間の相互作用からインスピレーションを得たものです。
たとえば、空いている道路を運転しているときは、アクションをゆっくりと段階的に最適化することができますが、交通量の多い交差点では、エラーをすぐに修正する必要があります。
したがって、誤差はプライミング信号であり、経験の強さは体重変化の調整因子です。
この Prime and Modulate パラダイムの利点は 2 つあります。正規化が不要であることと、環境からの関連する手がかりを利用して学習を豊かにすることです。
Z 空間における学習ルールの数学的導出を示し、ロボット プラットフォームを使用したリアルタイム パフォーマンスを実証します。
結果は、従来のバックプロパゲーションと比較して収束速度が大幅に向上していることを示しています。

要約(オリジナル)

Deep neural networks employing error back-propagation for learning can suffer from exploding and vanishing gradient problems. Numerous solutions have been proposed such as normalisation techniques or limiting activation functions to linear rectifying units. In this work we follow a different approach which is particularly applicable to closed-loop learning of forward models where back-propagation makes exclusive use of the sign of the error signal to prime the learning, whilst a global relevance signal modulates the rate of learning. This is inspired by the interaction between local plasticity and a global neuromodulation. For example, whilst driving on an empty road, one can allow for slow step-wise optimisation of actions, whereas, at a busy junction, an error must be corrected at once. Hence, the error is the priming signal and the intensity of the experience is a modulating factor in the weight change. The advantages of this Prime and Modulate paradigm is twofold: it is free from normalisation and it makes use of relevant cues from the environment to enrich the learning. We present a mathematical derivation of the learning rule in z-space and demonstrate the real-time performance with a robotic platform. The results show a significant improvement in the speed of convergence compared to that of the conventional back-propagation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google