Tuning Synaptic Connections instead of Weights by Genetic Algorithm in Spiking Policy Network

要約

相互作用から学習することは、生物学的因子が環境と自分自身についての知識を獲得する主な方法です。
最新の深層強化学習 (DRL) は、インタラクションから学習するための計算的アプローチを探求しており、さまざまなタスクの解決において大幅な進歩を遂げています。
しかし、DRL はその威力にもかかわらず、エネルギー効率の点では依然として生物剤に及ばない。
根底にあるメカニズムは完全には理解されていませんが、ニューロン間のスパイク通信と生物学的に妥当なシナプス可塑性の統合が、エネルギー効率の向上に重要な役割を果たすと考えられています。
この生物学的な直感に従い、DRL に代わるエネルギー効率の高い代替手段として、遺伝的アルゴリズムを使用してスパイク ポリシー ネットワーク (SPN) を最適化しました。
当社の SPN は昆虫の感覚運動ニューロン経路を模倣し、イベントベースのスパイクを通じて通信します。
脳が新しいシナプス接続を作成し、新しい経験に基づいてこれらの接続を再配線することによって記憶を形成することを示す生物学的研究に触発され、与えられたタスクを解決するために SPN の重みの代わりにシナプス接続を調整しました。
いくつかのロボット制御タスクに関する実験結果は、私たちの方法が、大幅に高いエネルギー効率を示しながら、主流の DRL 方法と同じレベルのパフォーマンスを達成できることを示しています。

要約(オリジナル)

Learning from interaction is the primary way that biological agents acquire knowledge about their environment and themselves. Modern deep reinforcement learning (DRL) explores a computational approach to learning from interaction and has made significant progress in solving various tasks. However, despite its power, DRL still falls short of biological agents in terms of energy efficiency. Although the underlying mechanisms are not fully understood, we believe that the integration of spiking communication between neurons and biologically-plausible synaptic plasticity plays a prominent role in achieving greater energy efficiency. Following this biological intuition, we optimized a spiking policy network (SPN) using a genetic algorithm as an energy-efficient alternative to DRL. Our SPN mimics the sensorimotor neuron pathway of insects and communicates through event-based spikes. Inspired by biological research showing that the brain forms memories by creating new synaptic connections and rewiring these connections based on new experiences, we tuned the synaptic connections instead of weights in the SPN to solve given tasks. Experimental results on several robotic control tasks demonstrate that our method can achieve the same level of performance as mainstream DRL methods while exhibiting significantly higher energy efficiency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google