Deep Reinforcement Learning with Spiking Q-learning

要約

特殊なニューロモーフィック ハードウェアの助けを借りて、スパイキング ニューラル ネットワーク (SNN) は、より少ないエネルギー消費で人工知能 (AI) を実現すると期待されています。
SNN と深層強化学習 (RL) を組み合わせることで、現実的な制御タスクに有望なエネルギー効率の高い方法を提供します。
現在、既存の SNN ベースの RL 手法はほんのわずかです。
それらのほとんどは、一般化能力がないか、トレーニングで価値関数を推定するために人工ニューラル ネットワーク (ANN) を使用しています。
前者はシナリオごとに多数のハイパーパラメータを調整する必要があり、後者はさまざまな種類の RL アルゴリズムの適用を制限し、トレーニングでの大量のエネルギー消費を無視します。
堅牢なスパイクベースの RL 手法を開発するために、昆虫に見られる非スパイク介在ニューロンからインスピレーションを得て、Q 値の表現として非スパイク ニューロンの膜電位を使用するディープ スパイキング Q ネットワーク (DSQN) を提案します。
エンドツーエンドの RL を使用して、高次元の感覚入力から堅牢なポリシーを直接学習できます。
17 の Atari ゲームで行われた実験では、DSQN が効果的であり、ほとんどのゲームで ANN ベースのディープ Q ネットワーク (DQN) よりも優れていることが実証されました。
さらに、実験では、DSQN の敵対的攻撃に対する優れた学習安定性と堅牢性が示されました。

要約(オリジナル)

With the help of special neuromorphic hardware, spiking neural networks (SNNs) are expected to realize artificial intelligence (AI) with less energy consumption. It provides a promising energy-efficient way for realistic control tasks by combining SNNs with deep reinforcement learning (RL). There are only a few existing SNN-based RL methods at present. Most of them either lack generalization ability or employ Artificial Neural Networks (ANNs) to estimate value function in training. The former needs to tune numerous hyper-parameters for each scenario, and the latter limits the application of different types of RL algorithm and ignores the large energy consumption in training. To develop a robust spike-based RL method, we draw inspiration from non-spiking interneurons found in insects and propose the deep spiking Q-network (DSQN), using the membrane voltage of non-spiking neurons as the representation of Q-value, which can directly learn robust policies from high-dimensional sensory inputs using end-to-end RL. Experiments conducted on 17 Atari games demonstrate the DSQN is effective and even outperforms the ANN-based deep Q-network (DQN) in most games. Moreover, the experiments show superior learning stability and robustness to adversarial attacks of DSQN.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google