Understanding plasticity in neural networks

要約

ニューラル ネットワークが新しい情報に応じて予測をすばやく変更する能力である可塑性は、深層強化学習システムの適応性と堅牢性に不可欠です。
ディープ ニューラル ネットワークは、比較的単純な学習問題であっても、トレーニングの過程で可塑性を失うことが知られていますが、この現象を引き起こすメカニズムはまだよくわかっていません。
この論文では、対象となるソリューションの将来の開発を導くために現象を機械的に理解することを目的として、可塑性損失の体系的な実証分析を行います。
可塑性の損失は、損失ランドスケープの曲率の変化に深く関係していることがわかりましたが、通常、飽和した単位または発散する勾配ノルムがない場合に発生します。
この洞察に基づいて、ネットワークがトレーニングの過程で可塑性をより適切に維持できるようにする、多くのパラメーター化と最適化設計の選択肢を特定します。
Arcade Learning Environment でトレーニングされたディープ RL エージェントに、最もパフォーマンスの高い介入であるレイヤーの正規化を適用することにより、大規模な学習問題におけるこれらの調査結果の有用性を検証します。

要約(オリジナル)

Plasticity, the ability of a neural network to quickly change its predictions in response to new information, is essential for the adaptability and robustness of deep reinforcement learning systems. Deep neural networks are known to lose plasticity over the course of training even in relatively simple learning problems, but the mechanisms driving this phenomenon are still poorly understood. This paper conducts a systematic empirical analysis into plasticity loss, with the goal of understanding the phenomenon mechanistically in order to guide the future development of targeted solutions. We find that loss of plasticity is deeply connected to changes in the curvature of the loss landscape, but that it typically occurs in the absence of saturated units or divergent gradient norms. Based on this insight, we identify a number of parameterization and optimization design choices which enable networks to better preserve plasticity over the course of training. We validate the utility of these findings in larger-scale learning problems by applying the best-performing intervention, layer normalization, to a deep RL agent trained on the Arcade Learning Environment.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google