LEAGUE: Guided Skill Learning and Abstraction for Long-Horizon Manipulation

要約

人間の日常的な活動を支援するために、ロボットは長期にわたる複雑なタスクを解決し、新しい設定に一般化する必要があります。
最近の深層強化学習 (RL) 手法は、完全な自律学習において有望ですが、大規模な環境では長期的な目標を達成するのが困難です。
一方、タスク アンド モーション プランニング (TAMP) アプローチは、強力な状態とアクションの抽象化のおかげで、長期にわたるタスクの解決と一般化に優れています。
しかし、彼らは事前に定義されたスキルセットを前提としているため、実際のアプリケーションが制限されます。
この研究では、これら 2 つのパラダイムの利点を組み合わせて、LEAGUE (Learning and Abstraction with Guide) という名前の統合されたタスク計画とスキル学習フレームワークを提案します。
LEAGUE は、タスク プランナーのシンボリック インターフェイスを活用して RL ベースのスキル学習をガイドし、抽象状態空間を作成してスキルの再利用を可能にします。
さらに重要なことは、LEAGUE はタスク計画システムの現場で操作スキルを学習し、その能力と解決できるタスクのセットを継続的に成長させていることです。
私たちは 4 つの挑戦的なシミュレーション タスク ドメインで LEAGUE を評価し、LEAGUE がベースラインを大幅に上回っていることを示しました。
また、学習したスキルを再利用して、新しいタスク領域での学習を加速し、物理的なロボット プラットフォームに移行できることも示します。

要約(オリジナル)

To assist with everyday human activities, robots must solve complex long-horizon tasks and generalize to new settings. Recent deep reinforcement learning (RL) methods show promise in fully autonomous learning, but they struggle to reach long-term goals in large environments. On the other hand, Task and Motion Planning (TAMP) approaches excel at solving and generalizing across long-horizon tasks, thanks to their powerful state and action abstractions. But they assume predefined skill sets, which limits their real-world applications. In this work, we combine the benefits of these two paradigms and propose an integrated task planning and skill learning framework named LEAGUE (Learning and Abstraction with Guidance). LEAGUE leverages the symbolic interface of a task planner to guide RL-based skill learning and creates abstract state space to enable skill reuse. More importantly, LEAGUE learns manipulation skills in-situ of the task planning system, continuously growing its capability and the set of tasks that it can solve. We evaluate LEAGUE on four challenging simulated task domains and show that LEAGUE outperforms baselines by large margins. We also show that the learned skills can be reused to accelerate learning in new tasks domains and transfer to a physical robot platform.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google