MimicGen: A Data Generation System for Scalable Robot Learning using Human Demonstrations

要約

人間による大規模なデモンストレーションからの模倣学習は、有能なロボット エージェントを構築するための効果的なパラダイムであることが証明されています。
ただし、デモの収集には非常に費用と時間がかかる場合があります。
わずかな数の人によるデモンストレーションから大規模で豊富なデータセットを新しいコンテキストに適応させて自動的に合成するシステムである MimicGen を紹介します。
私たちは MimicGen を使用して、わずか約 200 人の人間によるデモンストレーションから、さまざまなシーン構成、オブジェクト インスタンス、ロボット アームを含む 18 のタスクにわたって 50,000 を超えるデモンストレーションを生成します。
私たちは、模倣学習によってこの生成されたデータセット上でロボット エージェントを効果的にトレーニングし、複数部品の組み立てやコーヒーの準備などの長期にわたる高精度のタスクにおいて、幅広い初期状態分布にわたって強力なパフォーマンスを達成できることを示します。
さらに、MimicGen データの有効性と有用性は人間による追加のデモンストレーションを収集するのと比べても遜色なく、ロボット学習のスケールアップに向けた強力かつ経済的なアプローチとなることを実証します。
データセット、シミュレーション環境、ビデオなどは https://mimicgen.github.io にあります。

要約(オリジナル)

Imitation learning from a large set of human demonstrations has proved to be an effective paradigm for building capable robot agents. However, the demonstrations can be extremely costly and time-consuming to collect. We introduce MimicGen, a system for automatically synthesizing large-scale, rich datasets from only a small number of human demonstrations by adapting them to new contexts. We use MimicGen to generate over 50K demonstrations across 18 tasks with diverse scene configurations, object instances, and robot arms from just ~200 human demonstrations. We show that robot agents can be effectively trained on this generated dataset by imitation learning to achieve strong performance in long-horizon and high-precision tasks, such as multi-part assembly and coffee preparation, across broad initial state distributions. We further demonstrate that the effectiveness and utility of MimicGen data compare favorably to collecting additional human demonstrations, making it a powerful and economical approach towards scaling up robot learning. Datasets, simulation environments, videos, and more at https://mimicgen.github.io .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google