Brain-Like Replay Naturally Emerges in Reinforcement Learning Agents

要約

脳領域、特に海馬や大脳新皮質で広く観察される神経活動パターンとしてのリプレイは、人工エージェントの中で出現するのだろうか？もしそうなら、それはタスクに貢献するのだろうか？本研究では、複雑な仮定に依存することなく、海馬と前頭前野を模倣したリカレントニューラルネットワークベースの強化学習モデルを用いて、タスクに最適化されたパラダイムの下で、自然に出現するリプレイを発見する。海馬におけるエピソード記憶や認知マップ、環境観察から生じる創発的再生は、動物実験データとよく似ており、高い課題遂行能力の有効な指標となる。また、このモデルは局所的・非局所的リプレイの再現にも成功しており、ヒトの実験データとよく一致する。我々の研究は、リプレイの背後にあるメカニズムを理解するための新たな道を提供する。

要約(オリジナル)

Can replay, as a widely observed neural activity pattern in brain regions, particularly in the hippocampus and neocortex, emerge in an artificial agent? If yes, does it contribute to the tasks? In this work, without heavy dependence on complex assumptions, we discover naturally emergent replay under task-optimized paradigm using a recurrent neural network-based reinforcement learning model, which mimics the hippocampus and prefrontal cortex, as well as their intercommunication and the sensory cortex input. The emergent replay in the hippocampus, which results from the episodic memory and cognitive map as well as environment observations, well resembles animal experimental data and serves as an effective indicator of high task performance. The model also successfully reproduces local and nonlocal replay, which matches the human experimental data. Our work provides a new avenue for understanding the mechanisms behind replay.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL