A Low Latency Adaptive Coding Spiking Framework for Deep Reinforcement Learning

要約

近年、スパイキング ニューラル ネットワーク (SNN) は、その低消費電力とイベント駆動型の機能により、強化学習 (RL) で使用されています。
しかし、スパイク強化学習 (SRL) は、固定されたコーディング手法に悩まされており、依然として高い遅延と低い汎用性の問題に直面しています。
この論文では、学習可能な行列乗算を使用してスパイクをエンコードおよびデコードし、コーダーの柔軟性を向上させ、待ち時間を短縮します。
一方、直接トレーニング法を使用して SNN をトレーニングし、オンラインとオフラインの RL アルゴリズムに 2 つの異なる構造を使用することで、モデルの応用範囲が広がります。
広範な実験により、私たちの手法は、さまざまなアルゴリズムやさまざまな環境において、超低遅延 (他の SRL 手法の 0.8% という低さ) と優れたエネルギー効率 (DNN の最大 5 倍) で最適なパフォーマンスを達成できることが明らかになりました。

要約(オリジナル)

In recent years, spiking neural networks (SNNs) have been used in reinforcement learning (RL) due to their low power consumption and event-driven features. However, spiking reinforcement learning (SRL), which suffers from fixed coding methods, still faces the problems of high latency and poor versatility. In this paper, we use learnable matrix multiplication to encode and decode spikes, improving the flexibility of the coders and thus reducing latency. Meanwhile, we train the SNNs using the direct training method and use two different structures for online and offline RL algorithms, which gives our model a wider range of applications. Extensive experiments have revealed that our method achieves optimal performance with ultra-low latency (as low as 0.8% of other SRL methods) and excellent energy efficiency (up to 5X the DNNs) in different algorithms and different environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google