Spatial-aware decision-making with ring attractors in reinforcement learning systems

要約

このペーパーでは、神経回路のダイナミクスに触発された数学モデルであるリングアトラクタの統合を、強化学習（RL）アクション選択プロセスに統合します。
空間情報と不確実性をコードする専門の脳に触発された構造として機能するリングアトラクタは、RLの学習速度と精度を改善するための生物学的にもっともらしいメカニズムを提供します。
彼らは、行動空間を明示的にエンコードし、神経活動の組織を促進し、深い強化学習（DRL）の文脈でニューラルネットワーク全体で空間表現の分布を可能にすることでそうします。
たとえば、ロボット制御における回転角度間の連続性を保存するか、ゲームのような環境での戦術的な動き間の隣接。
アクション選択プロセスでのリングアトラクタの適用には、アクションをリング上の特定の場所にマッピングし、選択したアクションを神経活動に基づいて解読することが含まれます。
外因性モデルを構築し、DRLエージェントの一部としてそれらを統合することにより、リングアトラクタの適用を調査します。
私たちのアプローチは、Atari 100Kベンチマークで最先端のパフォーマンスを大幅に向上させ、選択された最先端のベースライン全体でパフォーマンスを53％増加させます。
https://anonymous.4open.science/r/ra_rl-8026で利用可能なコードベース。

要約(オリジナル)

This paper explores the integration of ring attractors, a mathematical model inspired by neural circuit dynamics, into the Reinforcement Learning (RL) action selection process. Serving as specialized brain-inspired structures that encode spatial information and uncertainty, ring attractors offer a biologically plausible mechanism to improve learning speed and accuracy in RL. They do so by explicitly encoding the action space, facilitating the organization of neural activity, and enabling the distribution of spatial representations across the neural network in the context of Deep Reinforcement Learning (DRL). For example, preserving the continuity between rotation angles in robotic control or adjacency between tactical moves in game-like environments. The application of ring attractors in the action selection process involves mapping actions to specific locations on the ring and decoding the selected action based on neural activity. We investigate the application of ring attractors by both building an exogenous model and integrating them as part of DRL agents. Our approach significantly improves state-of-the-art performance on the Atari 100k benchmark, achieving a 53\% increase in performance across selected state-of-the-art baselines. Codebase available at https://anonymous.4open.science/r/RA_RL-8026.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google