Parental Guidance: Efficient Lifelong Learning through Evolutionary Distillation

要約

さまざまな動作を示しながら、さまざまな環境でうまく機能することができるロボットエージェントの開発は、AIとロボット工学の重要な課題です。
従来の強化学習（RL）方法は、多くの場合、狭いタスクに特化したエージェントを作成し、適応性と多様性を制限します。
これを克服するために、自然種の繁殖、多様性、専門化のバランスをとるように、繁殖モジュールを含む、予備的な進化に触発されたフレームワークを提案します。
RL、模倣学習（IL）、および共進化エージェントテレインカリキュラムを統合することにより、システムは複雑なタスクを通じてエージェントを継続的に進化させます。
このアプローチは、適応性、有用な特性の継承、および継続的な学習を促進します。
エージェントは、継承されたスキルを改善するだけでなく、前任者を上回ります。
私たちの最初の実験は、この方法が探査効率を改善し、オープンエンドの学習をサポートすることを示しており、多様な地形環境と組み合わされたまばらな報酬がマルチタスク設定を誘発するスケーラブルなソリューションを提供します。

要約(オリジナル)

Developing robotic agents that can perform well in diverse environments while showing a variety of behaviors is a key challenge in AI and robotics. Traditional reinforcement learning (RL) methods often create agents that specialize in narrow tasks, limiting their adaptability and diversity. To overcome this, we propose a preliminary, evolution-inspired framework that includes a reproduction module, similar to natural species reproduction, balancing diversity and specialization. By integrating RL, imitation learning (IL), and a coevolutionary agent-terrain curriculum, our system evolves agents continuously through complex tasks. This approach promotes adaptability, inheritance of useful traits, and continual learning. Agents not only refine inherited skills but also surpass their predecessors. Our initial experiments show that this method improves exploration efficiency and supports open-ended learning, offering a scalable solution where sparse reward coupled with diverse terrain environments induces a multi-task setting.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google