Ensemble Reinforcement Learning in Continuous Spaces — A Hierarchical Multi-Step Approach for Policy Training

要約

タイトル：連続空間でのアンサンブル強化学習ー方策トレーニングのための階層的なマルチステップアプローチ

要約：
– Actor-critic深層強化学習(DRL)アルゴリズムは、高次元の連続的な状態と行動空間を持つ複雑な制御タスクを苦手としている。しかし、従来の研究により、actor-critic DRLアルゴリズムは学習環境を効果的に探索せず、限られた学習安定性と性能につながることが示された。
– この制限に対処するために、いくつかのアンサンブルDRLアルゴリズムが提案されており、探索を促進し、学習プロセスを安定化するために役立っている。しかし、ほとんどの既存のアンサンブルアルゴリズムは、アンサンブルの性能を共同で最適化するために、すべてのベースラーナーを明示的にトレーニングしない。
– この論文では、革新的なマルチステップ統合方法に基づいて、ベースラーナーのアンサンブルをトレーニングする新しいテクニックを提案している。このトレーニング技術により、アンサンブルDRLの新しい階層学習アルゴリズムを開発し、安定した間隔ラーパラメータ共有を通じて、学習者間の相互協力を効果的に促進することができる。
– 新しいアルゴリズムの設計は理論的に検証され、さらに複数のベンチマークRL問題で、複数の最先端のDRLアルゴリズムを上回ることが実証されている。

要約(オリジナル)

Actor-critic deep reinforcement learning (DRL) algorithms have recently achieved prominent success in tackling various challenging reinforcement learning (RL) problems, particularly complex control tasks with high-dimensional continuous state and action spaces. Nevertheless, existing research showed that actor-critic DRL algorithms often failed to explore their learning environments effectively, resulting in limited learning stability and performance. To address this limitation, several ensemble DRL algorithms have been proposed lately to boost exploration and stabilize the learning process. However, most of existing ensemble algorithms do not explicitly train all base learners towards jointly optimizing the performance of the ensemble. In this paper, we propose a new technique to train an ensemble of base learners based on an innovative multi-step integration method. This training technique enables us to develop a new hierarchical learning algorithm for ensemble DRL that effectively promotes inter-learner collaboration through stable inter-learner parameter sharing. The design of our new algorithm is verified theoretically. The algorithm is also shown empirically to outperform several state-of-the-art DRL algorithms on multiple benchmark RL problems.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI