GRSN: Gated Recurrent Spiking Neurons for POMDPs and MARL

要約

スパイキング ニューラル ネットワーク (SNN) は、エネルギー効率が高く、推論が高速であるため、さまざまな分野で広く応用されています。
SNN を強化学習 (RL) に適用すると、エージェントの計算リソース要件が大幅に削減され、リソースが制約された条件下でアルゴリズムのパフォーマンスが向上します。
ただし、現在のスパイク強化学習 (SRL) アルゴリズムでは、複数のタイム ステップのシミュレーション結果は、RL の単一ステップの決定にのみ対応します。
これは、脳内の実際の時間ダイナミクスとはまったく異なり、時間データを処理する SNN の能力を十分に活用できません。
この時間的不一致の問題に対処し、スパイキング ニューロンの固有の時間ダイナミクスをさらに活用するために、スパイキング ニューロンの単一ステップ更新を活用して RL に履歴状態情報を蓄積する新しい時間的アライメント パラダイム (TAP) を提案します。
スパイクニューロンの記憶容量を強化するためのゲートユニット。
実験結果は、私たちの方法がリカレントニューラルネットワーク（RNN）と同様のパフォーマンスで、約50％の消費電力で部分観察可能なマルコフ決定プロセス（POMDP）とマルチエージェント協調問題を解決できることを示しています。

要約(オリジナル)

Spiking neural networks (SNNs) are widely applied in various fields due to their energy-efficient and fast-inference capabilities. Applying SNNs to reinforcement learning (RL) can significantly reduce the computational resource requirements for agents and improve the algorithm’s performance under resource-constrained conditions. However, in current spiking reinforcement learning (SRL) algorithms, the simulation results of multiple time steps can only correspond to a single-step decision in RL. This is quite different from the real temporal dynamics in the brain and also fails to fully exploit the capacity of SNNs to process temporal data. In order to address this temporal mismatch issue and further take advantage of the inherent temporal dynamics of spiking neurons, we propose a novel temporal alignment paradigm (TAP) that leverages the single-step update of spiking neurons to accumulate historical state information in RL and introduces gated units to enhance the memory capacity of spiking neurons. Experimental results show that our method can solve partially observable Markov decision processes (POMDPs) and multi-agent cooperation problems with similar performance as recurrent neural networks (RNNs) but with about 50% power consumption.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google