Knowledge capture, adaptation and composition (KCAC): A framework for cross-task curriculum learning in robotic manipulation

要約

強化学習（RL）は、ロボット操作において顕著な可能性を示していますが、サンプルの非効率性と解釈可能性の欠如に課題に直面し、現実世界のシナリオでの適用性を制限しています。
エージェントがより深い理解を得て、多様な作業シナリオにより効率的に適応できるようにすることが重要であり、戦略的知識の利用がこのプロセスの重要な要素です。
このペーパーでは、クロスタスクカリキュラム学習を通じて知識の転送をRLに体系的に統合するための知識のキャプチャ、適応、および構成（KCAC）フレームワークを提案します。
KCACは、複雑なロボット操作環境である因果世界ベンチマークの2つのブロックスタッキングタスクを使用して評価されます。
私たちの知る限り、既存のRLアプローチは、このタスクを効果的に解決できず、知識のキャプチャの欠陥を反映しています。
この作業では、剛性の制約と厳格な順序を削除し、エージェントが合計報酬を同時に最大化できるようにし、柔軟なタスクの完了を可能にすることにより、ベンチマーク報酬機能を再設計します。
さらに、2つの自己設計されたサブタスクを定義し、効率的な学習を促進するために構造化されたクロスタスクカリキュラムを実装します。
その結果、KCACアプローチは、従来のRL方法と比較してタスクの成功率を10％改善しながら、トレーニング時間を40％短縮します。
広範な評価を通じて、学習効率を最適化し、カリキュラムベースのRLフレームワークの概念ガイダンスを提供する主要なカリキュラム設計パラメーターサブタスクの選択、移行タイミング、および学習レートを特定します。
この作品は、RLのカリキュラムデザインとロボット学習に関する貴重な洞察を提供します。

要約(オリジナル)

Reinforcement learning (RL) has demonstrated remarkable potential in robotic manipulation but faces challenges in sample inefficiency and lack of interpretability, limiting its applicability in real world scenarios. Enabling the agent to gain a deeper understanding and adapt more efficiently to diverse working scenarios is crucial, and strategic knowledge utilization is a key factor in this process. This paper proposes a Knowledge Capture, Adaptation, and Composition (KCAC) framework to systematically integrate knowledge transfer into RL through cross-task curriculum learning. KCAC is evaluated using a two block stacking task in the CausalWorld benchmark, a complex robotic manipulation environment. To our knowledge, existing RL approaches fail to solve this task effectively, reflecting deficiencies in knowledge capture. In this work, we redesign the benchmark reward function by removing rigid constraints and strict ordering, allowing the agent to maximize total rewards concurrently and enabling flexible task completion. Furthermore, we define two self-designed sub-tasks and implement a structured cross-task curriculum to facilitate efficient learning. As a result, our KCAC approach achieves a 40 percent reduction in training time while improving task success rates by 10 percent compared to traditional RL methods. Through extensive evaluation, we identify key curriculum design parameters subtask selection, transition timing, and learning rate that optimize learning efficiency and provide conceptual guidance for curriculum based RL frameworks. This work offers valuable insights into curriculum design in RL and robotic learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google