RoboMatrix: A Skill-centric Hierarchical Framework for Scalable Robot Task Planning and Execution in Open-World

要約

既存のポリシー学習方法は主にタスク中心のパラダイムを採用しており、エンドツーエンドの方法でタスク データを収集する必要があります。
その結果、学習されたポリシーは新しいタスクに取り組むことができない傾向があります。
さらに、エンドツーエンドの学習により、複数の段階を持つ複雑なタスクのエラーを特定することは困難です。
これらの課題に対処するために、スケーラブルなタスクの計画と実行のためのスキル中心の階層型フレームワークである RoboMatrix を提案します。
まず、さまざまな複雑なタスクから共通のメタスキルを抽出する、新しいスキル中心のパラダイムを導入します。
これにより、スキル中心のアプローチを通じて具体化されたデモンストレーションをキャプチャできるようになり、学習したメタスキルを組み合わせてオープンワールドのタスクを完了できるようになります。
メタスキルを最大限に活用するために、複雑なロボットのタスクを 3 つの相互接続された層に分離する階層フレームワークをさらに開発します。(1) 高レベルのモジュール式スケジューリング層。
(2) 中級レベルのスキル層。
(3) 低レベルのハードウェア層。
実験結果は、スキル中心の階層的なフレームワークが、新しいオブジェクト、シーン、タスク、および実施形態にわたって顕著な汎化パフォーマンスを達成することを示しています。
このフレームワークは、オープンワールド シナリオでのロボット タスクの計画と実行のための新しいソリューションを提供します。
当社のソフトウェアとハ​​ードウェアは、https://github.com/WayneMao/RoboMatrix で入手できます。

要約(オリジナル)

Existing policy learning methods predominantly adopt the task-centric paradigm, necessitating the collection of task data in an end-to-end manner. Consequently, the learned policy tends to fail to tackle novel tasks. Moreover, it is hard to localize the errors for a complex task with multiple stages due to end-to-end learning. To address these challenges, we propose RoboMatrix, a skill-centric and hierarchical framework for scalable task planning and execution. We first introduce a novel skill-centric paradigm that extracts the common meta-skills from different complex tasks. This allows for the capture of embodied demonstrations through a skill-centric approach, enabling the completion of open-world tasks by combining learned meta-skills. To fully leverage meta-skills, we further develop a hierarchical framework that decouples complex robot tasks into three interconnected layers: (1) a high-level modular scheduling layer; (2) a middle-level skill layer; and (3) a low-level hardware layer. Experimental results illustrate that our skill-centric and hierarchical framework achieves remarkable generalization performance across novel objects, scenes, tasks, and embodiments. This framework offers a novel solution for robot task planning and execution in open-world scenarios. Our software and hardware are available at https://github.com/WayneMao/RoboMatrix.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google