Plasticine: Accelerating Research in Plasticity-Motivated Deep Reinforcement Learning

要約

生涯学習エージェントを開発することは、人工的な一般情報に不可欠です。
ただし、深い強化学習（RL）システムは、しばしば可塑性の損失に苦しみ、ニューラルネットワークがトレーニング中に順応する能力を徐々に失います。
その重要性にもかかわらず、このフィールドには統一されたベンチマークと評価プロトコルがありません。
ディープRLでのプラスチックの最適化をベンチマークするための最初のオープンソースフレームワークであるプラスティシンを紹介します。
プラスプラスチンは、13を超える緩和方法、10の評価メトリック、および学習シナリオの単一ファイル実装を提供し、標準環境からオープンエンド環境に非定常レベルを増加させます。
このフレームワークにより、研究者は可塑性の損失を体系的に定量化し、緩和戦略を評価し、異なるコンテキストで可塑性のダイナミクスを分析することができます。
ドキュメント、例、およびソースコードは、https：//github.com/rle-foundation/plassisticineで入手できます。

要約(オリジナル)

Developing lifelong learning agents is crucial for artificial general intelligence. However, deep reinforcement learning (RL) systems often suffer from plasticity loss, where neural networks gradually lose their ability to adapt during training. Despite its significance, this field lacks unified benchmarks and evaluation protocols. We introduce Plasticine, the first open-source framework for benchmarking plasticity optimization in deep RL. Plasticine provides single-file implementations of over 13 mitigation methods, 10 evaluation metrics, and learning scenarios with increasing non-stationarity levels from standard to open-ended environments. This framework enables researchers to systematically quantify plasticity loss, evaluate mitigation strategies, and analyze plasticity dynamics across different contexts. Our documentation, examples, and source code are available at https://github.com/RLE-Foundation/Plasticine.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google