Giving Robots a Hand: Learning Generalizable Manipulation with Eye-in-Hand Human Video Demonstrations

要約

アイ・イン・ハンド・カメラは、サンプル効率の向上と視覚ベースのロボット操作の汎用化を可能にする可能性を示しています。
しかし、ロボットを模倣する場合、人間の遠隔操作者に本物のロボットを使った専門家のデモンストレーションを大量に収集させるのは依然として費用がかかります。
一方、人間がタスクを実行するビデオは、ロボットによる遠隔操作の専門知識が不要で、幅広いシナリオで迅速に撮影できるため、収集コストがはるかに安くなります。
したがって、人間のビデオデモンストレーションは、一般化可能なロボット操作ポリシーを大規模に学習するための有望なデータソースです。
この研究では、狭いロボット模倣データセットをラベルのない人間の広範なビデオ デモンストレーションで拡張し、目を手に持つ視覚運動ポリシーの一般化を大幅に強化します。
人間のデータとロボットのデータの間には明らかな視覚領域のギャップが存在しますが、私たちのフレームワークでは、アイ・イン・ハンド・カメラの部分的な可観測性と単純な固定画像マスキング・スキームを活用しているため、明示的な領域適応方法を採用する必要はありません。
3-DoF と 6-DoF の両方のロボット アーム制御を含む一連の 8 つの現実世界のタスクにおいて、私たちの方法は、目の中の操作ポリシーの成功率を平均 58% (絶対) 向上させ、ロボットが次のように一般化できるようにします。
ロボットのデモンストレーション データには見られない新しい環境構成と新しいタスクの両方。
https://giving-robots-a-hand.github.io/ でビデオ結果をご覧ください。

要約(オリジナル)

Eye-in-hand cameras have shown promise in enabling greater sample efficiency and generalization in vision-based robotic manipulation. However, for robotic imitation, it is still expensive to have a human teleoperator collect large amounts of expert demonstrations with a real robot. Videos of humans performing tasks, on the other hand, are much cheaper to collect since they eliminate the need for expertise in robotic teleoperation and can be quickly captured in a wide range of scenarios. Therefore, human video demonstrations are a promising data source for learning generalizable robotic manipulation policies at scale. In this work, we augment narrow robotic imitation datasets with broad unlabeled human video demonstrations to greatly enhance the generalization of eye-in-hand visuomotor policies. Although a clear visual domain gap exists between human and robot data, our framework does not need to employ any explicit domain adaptation method, as we leverage the partial observability of eye-in-hand cameras as well as a simple fixed image masking scheme. On a suite of eight real-world tasks involving both 3-DoF and 6-DoF robot arm control, our method improves the success rates of eye-in-hand manipulation policies by 58% (absolute) on average, enabling robots to generalize to both new environment configurations and new tasks that are unseen in the robot demonstration data. See video results at https://giving-robots-a-hand.github.io/ .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google