DexWild: Dexterous Human Interactions for In-the-Wild Robot Policies

要約

大規模で多様なロボットデータセットは、目覚る操作ポリシーが新しい環境に一般化することを可能にするための有望な道のりとして浮上していますが、そのようなデータセットを取得することは多くの課題を提示します。
テレオ操作は高忠実度のデータセットを提供しますが、その高コストはスケーラビリティを制限します。
代わりに、人々が日常生活と同じように自分の手を使ってデータを収集できるとしたらどうでしょうか。
Dexwildでは、多様なデータコレクターチームが手を使用して、多数の環境とオブジェクトにわたって何時間ものインタラクションを収集します。
このデータを記録するために、低コスト、モバイル、使いやすいデバイスであるDexWild-Systemを作成します。
Dexwild Learning Frameworkは、人間とロボットの両方のデモンストレーションの共同訓練であり、各データセットでのトレーニングと比較してパフォーマンスが向上しました。
この組み合わせにより、ロボット固有のデータを最小限に抑えて、新しい環境、タスク、および実施形態に一般化できるロボットポリシーが堅牢になります。
実験結果は、Dexwildがパフォーマンスを大幅に改善し、ロボットデータのみで訓練されたポリシーの4倍の目に見えない環境で68.5％の成功率を達成し、5.8倍の優れた交差体の一般化を提供することを示しています。
https://dexwild.github.ioのビデオ結果、コードベース、および手順

要約(オリジナル)

Large-scale, diverse robot datasets have emerged as a promising path toward enabling dexterous manipulation policies to generalize to novel environments, but acquiring such datasets presents many challenges. While teleoperation provides high-fidelity datasets, its high cost limits its scalability. Instead, what if people could use their own hands, just as they do in everyday life, to collect data? In DexWild, a diverse team of data collectors uses their hands to collect hours of interactions across a multitude of environments and objects. To record this data, we create DexWild-System, a low-cost, mobile, and easy-to-use device. The DexWild learning framework co-trains on both human and robot demonstrations, leading to improved performance compared to training on each dataset individually. This combination results in robust robot policies capable of generalizing to novel environments, tasks, and embodiments with minimal additional robot-specific data. Experimental results demonstrate that DexWild significantly improves performance, achieving a 68.5% success rate in unseen environments-nearly four times higher than policies trained with robot data only-and offering 5.8x better cross-embodiment generalization. Video results, codebases, and instructions at https://dexwild.github.io

arxiv情報

提供元, 利用サービス

arxiv.jp, Google