Is Learning in Biological Neural Networks based on Stochastic Gradient Descent? An analysis using stochastic processes

要約

近年、生物学的ニューラル ネットワーク (BNN) での学習が人工ニューラル ネットワークでの学習とどのように異なるかについて、激しい議論が行われています。
脳内の接続の更新は局所的な情報のみに依存するため、確率的勾配降下型の最適化手法は使用できない、とよく議論されます。
この論文では、BNN における教師あり学習の確率モデルを研究します。
各学習機会が多くのローカル更新によって処理されるときに、(連続的な) 勾配ステップが発生することを示します。
この結果は、確率的勾配降下法が実際に BNN の最適化に役割を果たしている可能性があることを示唆しています。

要約(オリジナル)

In recent years, there has been an intense debate about how learning in biological neural networks (BNNs) differs from learning in artificial neural networks. It is often argued that the updating of connections in the brain relies only on local information, and therefore a stochastic gradient-descent type optimization method cannot be used. In this paper, we study a stochastic model for supervised learning in BNNs. We show that a (continuous) gradient step occurs approximately when each learning opportunity is processed by many local updates. This result suggests that stochastic gradient descent may indeed play a role in optimizing BNNs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google