Autonomous Generation of Sub-goals for Lifelong Learning in Robots

要約

ロボットでの自由な学習の課題の1つは、目標を自律的に発見し、それらを達成するためのスキルを学ぶ必要性です。
ただし、生涯学習設定では、目標へのステッピングストーンとして、明示的な報酬に依存することなく、関連するスキルでサブゴールを生成することが常に望ましいです。
これにより、サブゴールとスキルを再利用して、他の目標を達成することができます。
この作業は、サブゴール生成がこの課題に対処するための2張りのアプローチを提案します。サブゴールは、本質的な動機を使用してそれらを発見する一般的な目標から階層的に導き出されます。
これらの方法は、より一般的な目標を達成する方法として、ロボットがサブゴールを自律的に生成し、チェーンするのに役立ちます。
さらに、彼らは目標のより抽象的な表現を作成し、サブゴールの重複を減らし、スキルの学習をより効率的にするのに役立ちます。
生涯にわたるオープンエンド学習のための既存の認知アーキテクチャ内で実装され、実際のロボットでテストされたこのアプローチは、ロボットの目標を発見して達成し、効率的な方法でサブゴールを生成し、学習スキルを一般化し、明示的な中等度の報酬なしで動的および未知の環境で動作する能力を高めます。

要約(オリジナル)

One of the challenges of open-ended learning in robots is the need to autonomously discover goals and learn skills to achieve them. However, when in lifelong learning settings, it is always desirable to generate sub-goals with their associated skills, without relying on explicit reward, as steppingstones to a goal. This allows sub-goals and skills to be reused to facilitate achieving other goals. This work proposes a two-pronged approach for sub-goal generation to address this challenge: a top-down approach, where sub-goals are hierarchically derived from general goals using intrinsic motivations to discover them, and a bottom-up approach, where sub-goal chains emerge from making latent relationships between goals and perceptual classes that were previously learned in different domains explicit. These methods help the robot to autonomously generate and chain sub-goals as a way to achieve more general goals. Additionally, they create more abstract representations of goals, helping to reduce sub-goal duplication and make the learning of skills more efficient. Implemented within an existing cognitive architecture for lifelong open-ended learning and tested with a real robot, our approach enhances the robot’s ability to discover and achieve goals, generate sub-goals in an efficient manner, generalize learned skills, and operate in dynamic and unknown environments without explicit intermediate rewards.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google