CyberDemo: Augmenting Simulated Human Demonstration for Real-World Dexterous Manipulation

要約

Cyber​​Demo を紹介します。これは、現実世界のタスクに対して人間の模擬デモンストレーションを活用する、ロボットによる模倣学習への新しいアプローチです。
Cyber​​Demo は、シミュレートされた環境に広範なデータ拡張を組み込むことで、現実世界に転送した場合に従来のドメイン内の現実世界のデモンストレーションを上回り、さまざまな物理的および視覚的条件を処理します。
データ収集における手頃な価格と利便性に関係なく、Cyber​​Demo はさまざまなタスクにわたる成功率の点でベースライン手法を上回り、これまでに見たことのないオブジェクトに対する汎用性を示します。
たとえば、人間によるデモンストレーションでは 3 バルブのみが行われたにもかかわらず、新しい 4 バルブと 5 バルブを回転させることができます。
私たちの研究は、現実世界の器用な操作タスクに対する人間の模擬デモンストレーションの大きな可能性を実証しています。
詳細については、https://cyber-demo.github.io をご覧ください。

要約(オリジナル)

We introduce CyberDemo, a novel approach to robotic imitation learning that leverages simulated human demonstrations for real-world tasks. By incorporating extensive data augmentation in a simulated environment, CyberDemo outperforms traditional in-domain real-world demonstrations when transferred to the real world, handling diverse physical and visual conditions. Regardless of its affordability and convenience in data collection, CyberDemo outperforms baseline methods in terms of success rates across various tasks and exhibits generalizability with previously unseen objects. For example, it can rotate novel tetra-valve and penta-valve, despite human demonstrations only involving tri-valves. Our research demonstrates the significant potential of simulated human demonstrations for real-world dexterous manipulation tasks. More details can be found at https://cyber-demo.github.io

arxiv情報

提供元, 利用サービス

arxiv.jp, Google