Universal Manipulation Interface: In-The-Wild Robot Teaching Without In-The-Wild Robots

要約

私たちは、Universal Manipulation Interface (UMI) を紹介します。これは、自然環境での人間によるデモンストレーションから展開可能なロボット ポリシーへの直接的なスキル伝達を可能にする、データ収集およびポリシー学習フレームワークです。
UMI は、慎重なインターフェイス設計と組み合わせたハンドヘルド グリッパーを採用し、困難な両手操作や動的操作のデモンストレーションに向けて、ポータブルで低コストで情報豊富なデータ収集を可能にします。
導入可能なポリシーの学習を促進するために、UMI には、推論時間のレイテンシのマッチングと相対的な軌跡のアクション表現を備えた、慎重に設計されたポリシー インターフェイスが組み込まれています。
結果として得られる学習ポリシーはハードウェアに依存せず、複数のロボット プラットフォームに展開可能です。
これらの機能を備えた UMI フレームワークは、新しいロボット操作機能を解放し、各タスクのトレーニング データを変更するだけで、ゼロショットで一般化可能な動的、両手操作、正確で長期的な動作を可能にします。
私たちは、UMI の多用途性と有効性を包括的な実世界の実験で実証します。そこでは、UMI ゼロショットを通じて学習したポリシーが、多様な人間のデモンストレーションでトレーニングされたときに、新しい環境やオブジェクトに一般化されます。
UMI のハードウェアおよびソフトウェア システムは、https://umi-gripper.github.io でオープンソース化されています。

要約(オリジナル)

We present Universal Manipulation Interface (UMI) — a data collection and policy learning framework that allows direct skill transfer from in-the-wild human demonstrations to deployable robot policies. UMI employs hand-held grippers coupled with careful interface design to enable portable, low-cost, and information-rich data collection for challenging bimanual and dynamic manipulation demonstrations. To facilitate deployable policy learning, UMI incorporates a carefully designed policy interface with inference-time latency matching and a relative-trajectory action representation. The resulting learned policies are hardware-agnostic and deployable across multiple robot platforms. Equipped with these features, UMI framework unlocks new robot manipulation capabilities, allowing zero-shot generalizable dynamic, bimanual, precise, and long-horizon behaviors, by only changing the training data for each task. We demonstrate UMI’s versatility and efficacy with comprehensive real-world experiments, where policies learned via UMI zero-shot generalize to novel environments and objects when trained on diverse human demonstrations. UMI’s hardware and software system is open-sourced at https://umi-gripper.github.io.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google