The Dormant Neuron Phenomenon in Deep Reinforcement Learning

要約

この研究では、深層強化学習における休止ニューロン現象を特定します。この現象では、エージェントのネットワークが不活性ニューロンの数の増加に悩まされ、それによってネットワークの表現力に影響を与えます。
私たちは、さまざまなアルゴリズムや環境にわたってこの現象が存在することを実証し、学習に対するその影響を強調します。
この問題に対処するために、トレーニング全体を通じて休止状態のニューロンをリサイクルするシンプルで効果的な方法 (ReDo) を提案します。
私たちの実験では、ReDo が休止ニューロンの数を減らすことでネットワークの表現力を維持し、パフォーマンスが向上することを示しています。

要約(オリジナル)

In this work we identify the dormant neuron phenomenon in deep reinforcement learning, where an agent’s network suffers from an increasing number of inactive neurons, thereby affecting network expressivity. We demonstrate the presence of this phenomenon across a variety of algorithms and environments, and highlight its effect on learning. To address this issue, we propose a simple and effective method (ReDo) that Recycles Dormant neurons throughout training. Our experiments demonstrate that ReDo maintains the expressive power of networks by reducing the number of dormant neurons and results in improved performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google