Understanding plasticity in neural networks

要約

可塑性、つまり新しい情報に応じて予測を迅速に変更するニューラル ネットワークの能力は、深層強化学習システムの適応性と堅牢性に不可欠です。
ディープ ニューラル ネットワークは、比較的単純な学習問題であっても、トレーニングの過程で可塑性を失うことが知られていますが、この現象を引き起こすメカニズムはまだ十分に理解されていません。
この論文は、対象となる解決策の将来の開発を導くために現象を機構的に理解することを目的として、塑性損失に関する系統的な実証分析を実施します。
可塑性の損失は損失ランドスケープの曲率の変化に深く関係しているが、それは飽和したユニットが存在しない場合に起こることが多いことがわかりました。
この洞察に基づいて、トレーニング中にネットワークが可塑性をより良く維持できるようにする、パラメーター化と最適化の設計上の選択肢をいくつか特定します。
アーケード学習環境の大規模な RL ベンチマークでこれらの発見の有用性を検証します。

要約(オリジナル)

Plasticity, the ability of a neural network to quickly change its predictions in response to new information, is essential for the adaptability and robustness of deep reinforcement learning systems. Deep neural networks are known to lose plasticity over the course of training even in relatively simple learning problems, but the mechanisms driving this phenomenon are still poorly understood. This paper conducts a systematic empirical analysis into plasticity loss, with the goal of understanding the phenomenon mechanistically in order to guide the future development of targeted solutions. We find that loss of plasticity is deeply connected to changes in the curvature of the loss landscape, but that it often occurs in the absence of saturated units. Based on this insight, we identify a number of parameterization and optimization design choices which enable networks to better preserve plasticity over the course of training. We validate the utility of these findings on larger-scale RL benchmarks in the Arcade Learning Environment.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google