EgoZero: Robot Learning from Smart Glasses

要約

一般的な目的のロボット工学の最近の進歩にもかかわらず、ロボットポリシーは、現実世界の基本的な人間の能力に遅れをとっています。
人間は物理的な世界と絶えず相互作用しますが、この豊富なデータリソースは、ロボット学習においてほとんど未開発のままです。
Egozeroを提案します。これは、プロジェクトAriaスマートグラス、$ \ TextBF {およびゼロロボットデータ} $でキャプチャされた人間のデモから堅牢な操作ポリシーを学習する最小限のシステムです。
egozeroが有効にする：（1）野生の、エゴセントリックな、人間のデモンストレーションからの完全なロボットに実行可能なアクションの抽出、（2）形態学的に存在する状態表現への人間の視覚観察の圧縮、および（3）形態学的、空間的、および正常に一般化する閉ループ政策学習。
グリッパーのフランカパンダロボットにエゴゼロポリシーを展開し、7つの操作タスクで70％の成功率とタスクごとに20分のデータ収集でゼロショット転送を示します。
私たちの結果は、野生の人間のデータが、現実世界のロボット学習のためのスケーラブルな基盤として役立つことを示唆しています。
コードとビデオはhttps://egozero-robot.github.ioで入手できます。

要約(オリジナル)

Despite recent progress in general purpose robotics, robot policies still lag far behind basic human capabilities in the real world. Humans interact constantly with the physical world, yet this rich data resource remains largely untapped in robot learning. We propose EgoZero, a minimal system that learns robust manipulation policies from human demonstrations captured with Project Aria smart glasses, $\textbf{and zero robot data}$. EgoZero enables: (1) extraction of complete, robot-executable actions from in-the-wild, egocentric, human demonstrations, (2) compression of human visual observations into morphology-agnostic state representations, and (3) closed-loop policy learning that generalizes morphologically, spatially, and semantically. We deploy EgoZero policies on a gripper Franka Panda robot and demonstrate zero-shot transfer with 70% success rate over 7 manipulation tasks and only 20 minutes of data collection per task. Our results suggest that in-the-wild human data can serve as a scalable foundation for real-world robot learning – paving the way toward a future of abundant, diverse, and naturalistic training data for robots. Code and videos are available at https://egozero-robot.github.io.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google