DexMimicGen: Automated Data Generation for Bimanual Dexterous Manipulation via Imitation Learning

要約

人間のデモンストレーションからの模倣学習は、ロボットの操作スキルを教える効果的な手段です。
しかし、大量のコストと人的労力がかかるため、データの取得がこのパラダイムをより広範囲に適用する際の大きなボトルネックとなります。
ヒューマノイドのような両手利きの器用なロボットの模倣学習には大きな関心が集まっています。
残念ながら、複数の腕と複数の指を持つ手を同時に制御するという課題があるため、ここではデータ収集がさらに困難になります。
シミュレーションでの自動データ生成は、このデータのニーズを満たすための魅力的でスケーラブルな代替手段です。
この目的を達成するために、私たちは、器用な手を持つ人型ロボットの少数の人間によるデモンストレーションから軌道を合成する大規模自動データ生成システムである DexMimicGen を紹介します。
我々は、両手の器用な操作の設定における一連のシミュレーション環境を提示し、操作動作の範囲と両腕間の調整に関するさまざまな要件に及びます。
私たちは、わずか 60 人のソース人間デモからこれらのタスク全体で 21,000 個のデモを生成し、いくつかのデータ生成とポリシー学習の決定がエージェントのパフォーマンスに及ぼす影響を調査しました。
最後に、リアルからシムからリアルへのパイプラインを提示し、それを現実世界のヒューマノイド缶仕分けタスクにデプロイします。
ビデオなどは https://dexmimicgen.github.io/ にあります。

要約(オリジナル)

Imitation learning from human demonstrations is an effective means to teach robots manipulation skills. But data acquisition is a major bottleneck in applying this paradigm more broadly, due to the amount of cost and human effort involved. There has been significant interest in imitation learning for bimanual dexterous robots, like humanoids. Unfortunately, data collection is even more challenging here due to the challenges of simultaneously controlling multiple arms and multi-fingered hands. Automated data generation in simulation is a compelling, scalable alternative to fuel this need for data. To this end, we introduce DexMimicGen, a large-scale automated data generation system that synthesizes trajectories from a handful of human demonstrations for humanoid robots with dexterous hands. We present a collection of simulation environments in the setting of bimanual dexterous manipulation, spanning a range of manipulation behaviors and different requirements for coordination among the two arms. We generate 21K demos across these tasks from just 60 source human demos and study the effect of several data generation and policy learning decisions on agent performance. Finally, we present a real-to-sim-to-real pipeline and deploy it on a real-world humanoid can sorting task. Videos and more are at https://dexmimicgen.github.io/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google