Neuroplastic Expansion in Deep Reinforcement Learning

要約

生物学的脳における神経経路の凝固に類似した学習剤の可塑性の喪失は、その非定常性のために補強学習の学習と適応を著しく妨げます。
この根本的な課題に対処するために、認知科学の皮質拡大に触発された、{\ it Neuroplastic拡大}（NE）（NE）を提案します。
NEは、ネットワークをより小さな初期サイズから完全な次元に動的に成長させることにより、トレーニングプロセス全体で学習性と適応性を維持します。
私たちの方法は、（\ textit {1}）潜在的な勾配に基づく弾性トポロジの生成、（\ textit {2}）ナットワーク表現性を最適化するための休眠ニューロン剪定、および（\ textit {3}）ニューロンの統合を介した経験レビューを介して、可塑性安定性のバランスをとることを介した（\ textit {3}）ニューロンの統合の3つの重要なコンポーネントで設計されています。
広範な実験は、NEが可塑性の喪失を効果的に軽減し、ムホコとディープマインドコントロールスイート環境のさまざまなタスクにわたって最先端の方法を上回ることを示しています。
NEは、複雑で動的な環境でより適応的な学習を可能にします。これは、静的で1回限りのトレーニングパラダイムからより柔軟で継続的な適応モデルへの深い強化学習を移行するための重要なステップを表しています。

要約(オリジナル)

The loss of plasticity in learning agents, analogous to the solidification of neural pathways in biological brains, significantly impedes learning and adaptation in reinforcement learning due to its non-stationary nature. To address this fundamental challenge, we propose a novel approach, {\it Neuroplastic Expansion} (NE), inspired by cortical expansion in cognitive science. NE maintains learnability and adaptability throughout the entire training process by dynamically growing the network from a smaller initial size to its full dimension. Our method is designed with three key components: (\textit{1}) elastic topology generation based on potential gradients, (\textit{2}) dormant neuron pruning to optimize network expressivity, and (\textit{3}) neuron consolidation via experience review to strike a balance in the plasticity-stability dilemma. Extensive experiments demonstrate that NE effectively mitigates plasticity loss and outperforms state-of-the-art methods across various tasks in MuJoCo and DeepMind Control Suite environments. NE enables more adaptive learning in complex, dynamic environments, which represents a crucial step towards transitioning deep reinforcement learning from static, one-time training paradigms to more flexible, continually adapting models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google