Competitive plasticity to reduce the energetic costs of learning

要約

タイトル：学習のエネルギーコストを減らす競合性可塑性

要約：脳は計算に必要なエネルギーだけでなく、記憶を形成するために必要なエネルギーにも制限されている。単純な条件付け課題を学習することで、脳にはかなりの代謝コストがかかることが示されている。しかし、MNISTのタスクを95％の精度で学習するには、少なくとも10の8乗のシナプスの更新が必要であることが示されているため、脳はできるだけ少ないエネルギーで学ぶことができるように進化している可能性がある。フィードフォワードニューラルネットワークで学習に必要なエネルギーを探究した。簡潔なエネルギーモデルに基づき、エネルギーを節約する2つの可塑性制限アルゴリズムを提案する：1）大きな更新のあるシナプスのみを修正する、2）ネットワークを通る経路のサブセットに可塑性を制限する。これら2つの方法を組み合わせると、学習時間のわずかな増加に対して大幅なエネルギー節約が可能になる。生物学的ネットワークでは、タスクが必要とするよりも大幅に大きい場合があるため、大幅な節約が実現できる。競合的に可塑性を制限することで、シナプス可塑性に関連する代謝エネルギーを節約することができる。この結果は、生物学的可塑性の理解を深め、人工的な学習と生物学的な学習の適合性を向上させることができる。さらに、電子機器のメモリストレージもエネルギー的に高コストであるため、このアルゴリズムはハードウェアにも有益である可能性がある。

要約(オリジナル)

The brain is not only constrained by energy needed to fuel computation, but it is also constrained by energy needed to form memories. Experiments have shown that learning simple conditioning tasks already carries a significant metabolic cost. Yet, learning a task like MNIST to 95% accuracy appears to require at least 10^{8} synaptic updates. Therefore the brain has likely evolved to be able to learn using as little energy as possible. We explored the energy required for learning in feedforward neural networks. Based on a parsimonious energy model, we propose two plasticity restricting algorithms that save energy: 1) only modify synapses with large updates, and 2) restrict plasticity to subsets of synapses that form a path through the network. Combining these two methods leads to substantial energy savings while only incurring a small increase in learning time. In biology networks are often much larger than the task requires. In particular in that case, large savings can be achieved. Thus competitively restricting plasticity helps to save metabolic energy associated to synaptic plasticity. The results might lead to a better understanding of biological plasticity and a better match between artificial and biological learning. Moreover, the algorithms might also benefit hardware because in electronics memory storage is energetically costly as well.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI