CyberDemo: Augmenting Simulated Human Demonstration for Real-World Dexterous Manipulation

要約

本研究では、実世界のタスクに対する人間の模擬デモンストレーションを活用した、ロボット模倣学習の新しいアプローチであるサイバーデモを紹介する。サイバーデモは、シミュレートされた環境における広範なデータ補強を取り入れることで、実世界に移されたときに、多様な物理的・視覚的条件に対応し、従来の実世界でのデモンストレーションを凌駕する。サイバーデモは、その手頃な価格とデータ収集の利便性に関わらず、様々なタスクの成功率においてベースライン手法を上回り、以前に見たことのないオブジェクトに対する汎化性を示す。例えば、人間のデモンストレーションでは3バルブしか使用しなかったにもかかわらず、サイバーデモは新しい4バルブや5バルブを回転させることができる。私たちの研究は、実世界の器用な操作タスクに対する人間の模擬デモンストレーションの大きな可能性を示している。詳細はhttps://cyber-demo.github.io。

要約(オリジナル)

We introduce CyberDemo, a novel approach to robotic imitation learning that leverages simulated human demonstrations for real-world tasks. By incorporating extensive data augmentation in a simulated environment, CyberDemo outperforms traditional in-domain real-world demonstrations when transferred to the real world, handling diverse physical and visual conditions. Regardless of its affordability and convenience in data collection, CyberDemo outperforms baseline methods in terms of success rates across various tasks and exhibits generalizability with previously unseen objects. For example, it can rotate novel tetra-valve and penta-valve, despite human demonstrations only involving tri-valves. Our research demonstrates the significant potential of simulated human demonstrations for real-world dexterous manipulation tasks. More details can be found at https://cyber-demo.github.io

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL