Proximal Curriculum for Reinforcement Learning Agents

要約

タイトル：強化学習エージェントのための近接カリキュラム

要約：

– 強化学習を用いた多様なタスクにおいて、カリキュラムの設計に関する問題を考える。
– 自動的なカリキュラム設計の既存の技術は、ドメインに特化したハイパーパラメーター調整が必要であるか、理論的な根拠が限られている。
– この問題に対処するため、私たちは教育的な概念である近接発達ゾーン（ZPD）に着想を得たプロキュールというカリキュラム戦略を設計する。
– プロキュールは、学習者にとって難しすぎず、簡単すぎないタスクを選ぶことで学習の進展を最大化するという感覚を捉えている。
– 私たちは、2つのシンプルな学習セッティングを分析することで、プロキュールを数学的に導出する。
– プロキュールの実用的なバリアントを提供し、最小限のハイパーパラメーター調整で深層強化学習フレームワークに直接統合できるようにする。
– 様々なドメインでの実験結果から、プロキュール戦略が深層強化学習エージェントのトレーニングプロセスを加速する点で最先端のベースラインよりも効果的であることを示す。

要約(オリジナル)

We consider the problem of curriculum design for reinforcement learning (RL) agents in contextual multi-task settings. Existing techniques on automatic curriculum design typically require domain-specific hyperparameter tuning or have limited theoretical underpinnings. To tackle these limitations, we design our curriculum strategy, ProCuRL, inspired by the pedagogical concept of Zone of Proximal Development (ZPD). ProCuRL captures the intuition that learning progress is maximized when picking tasks that are neither too hard nor too easy for the learner. We mathematically derive ProCuRL by analyzing two simple learning settings. We also present a practical variant of ProCuRL that can be directly integrated with deep RL frameworks with minimal hyperparameter tuning. Experimental results on a variety of domains demonstrate the effectiveness of our curriculum strategy over state-of-the-art baselines in accelerating the training process of deep RL agents.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI