Energy-Efficient Deep Reinforcement Learning with Spiking Transformers

要約

エージェントベースのトランスは、複雑なタスクを解決する能力が実証されているため、最近の強化学習の進歩に広く採用されています。
ただし、トランスの高い計算の複雑さは、多くの場合、大幅なエネルギー消費をもたらし、実際の自律システムでの展開を制限します。
生物学的にインスピレーションを受けた構造を備えたスパイクニューラルネットワーク（SNN）は、機械学習のためのエネルギー効率の高い代替品を提供します。
このホワイトペーパーでは、SNNのエネルギー効率と強力な意思決定能力を補強学習の強力な意思決定能力を組み合わせた新しいスパイク変換補強学習（STRL）アルゴリズムが開発されています。
具体的には、複数の時間ステップで時空間パターンを処理できるマルチステップリーキーインテグレーターファイア（LIF）ニューロンと注意メカニズムを使用したSNNが設計されています。
アーキテクチャは、州、アクション、および報酬エンコーディングでさらに強化され、強化学習タスク用に最適化された変圧器のような構造を作成します。
最先端のベンチマークで実施された包括的な数値実験は、提案されたSNNトランスが従来のエージェントベースの変圧器と比較して政策パフォーマンスを大幅に改善することを示しています。
エネルギー効率と政策の最適性の両方を備えたこの作業は、複雑な現実世界の意思決定シナリオにバイオ風の低コストの機械学習モデルを展開するための有望な方向性を強調しています。

要約(オリジナル)

Agent-based Transformers have been widely adopted in recent reinforcement learning advances due to their demonstrated ability to solve complex tasks. However, the high computational complexity of Transformers often results in significant energy consumption, limiting their deployment in real-world autonomous systems. Spiking neural networks (SNNs), with their biologically inspired structure, offer an energy-efficient alternative for machine learning. In this paper, a novel Spike-Transformer Reinforcement Learning (STRL) algorithm that combines the energy efficiency of SNNs with the powerful decision-making capabilities of reinforcement learning is developed. Specifically, an SNN using multi-step Leaky Integrate-and-Fire (LIF) neurons and attention mechanisms capable of processing spatio-temporal patterns over multiple time steps is designed. The architecture is further enhanced with state, action, and reward encodings to create a Transformer-like structure optimized for reinforcement learning tasks. Comprehensive numerical experiments conducted on state-of-the-art benchmarks demonstrate that the proposed SNN Transformer achieves significantly improved policy performance compared to conventional agent-based Transformers. With both enhanced energy efficiency and policy optimality, this work highlights a promising direction for deploying bio-inspired, low-cost machine learning models in complex real-world decision-making scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google