SkillMimicGen: Automated Demonstration Generation for Efficient Skill Learning and Deployment

要約

人間のデモンストレーションからの模倣学習はロボット操作の効果的なパラダイムですが、特に長期的なタスクの場合、大規模なデータセットの取得にはコストがかかり、リソースが大量に消費されます。
この問題に対処するために、私たちは、少数の人間によるデモからデモンストレーション データセットを生成する自動化システムである SkillMimicGen (SkillGen) を提案します。
SkillGen は、人間のデモを操作スキルに分割し、これらのスキルを新しいコンテキストに適応させ、自由空間の移動および移動動作を通じてそれらをつなぎ合わせます。
また、SkillGen データセットからスキルの開始、制御、終了コンポーネントを学習するためのハイブリッド スキル ポリシー (HSP) フレームワークを提案し、テスト時にモーション プランニングを使用してスキルを順序付けできるようにします。
SkillGen は、最先端のデータ生成フレームワークに比べてデータ生成とポリシー学習のパフォーマンスを大幅に向上させ、その結果、クラッターを含む大きなシーンの変化に対するデータを生成する能力が得られ、エージェントの成功率が平均 24% 向上することを実証します。
。
私たちは、わずか 60 人の人間によるデモンストレーションからシミュレーションで 18 のタスク バリアントにわたって 24,000 を超えるデモンストレーションを生成し、熟練した、多くの場合完璧に近い HSP エージェントをトレーニングすることで、SkillGen の有効性を実証しています。
最後に、SkillGen を 3 つの現実世界の操作タスクに適用し、長期的なアセンブリ タスクでのゼロショットのシミュレーションからリアルへの転送も実証します。
ビデオなどは https://skillgen.github.io でご覧いただけます。

要約(オリジナル)

Imitation learning from human demonstrations is an effective paradigm for robot manipulation, but acquiring large datasets is costly and resource-intensive, especially for long-horizon tasks. To address this issue, we propose SkillMimicGen (SkillGen), an automated system for generating demonstration datasets from a few human demos. SkillGen segments human demos into manipulation skills, adapts these skills to new contexts, and stitches them together through free-space transit and transfer motion. We also propose a Hybrid Skill Policy (HSP) framework for learning skill initiation, control, and termination components from SkillGen datasets, enabling skills to be sequenced using motion planning at test-time. We demonstrate that SkillGen greatly improves data generation and policy learning performance over a state-of-the-art data generation framework, resulting in the capability to produce data for large scene variations, including clutter, and agents that are on average 24% more successful. We demonstrate the efficacy of SkillGen by generating over 24K demonstrations across 18 task variants in simulation from just 60 human demonstrations, and training proficient, often near-perfect, HSP agents. Finally, we apply SkillGen to 3 real-world manipulation tasks and also demonstrate zero-shot sim-to-real transfer on a long-horizon assembly task. Videos, and more at https://skillgen.github.io.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google