UMI on Legs: Making Manipulation Policies Mobile with Manipulation-Centric Whole-body Controllers

要約

四足操作システム用に現実世界のデータとシミュレーション データを組み合わせた新しいフレームワークである UMI-on-Legs を紹介します。
当社は、ハンドヘルド グリッパー (UMI) を使用して現実世界でタスク中心のデータ収集を拡張し、ロボットを使わずにタスク関連の操作スキルを実証する安価な方法を提供します。
同時に、タスク シミュレーションのセットアップなしでタスク追跡用の全身コントローラーをトレーニングすることにより、シミュレーションでロボット中心のデータをスケールします。
これら 2 つのポリシー間のインターフェイスは、タスク フレーム内のエンドエフェクターの軌道であり、操作ポリシーによって推論され、追跡のために全身コントローラーに渡されます。
私たちは、つかみやすいタスク、つかみにくいタスク、および動的操作タスクで UMI-on-Legs を評価し、すべてのタスクで 70% 以上の成功率を報告しています。
最後に、元々は固定ベースのロボット アームを対象とした、以前の研究で事前に訓練された操作ポリシー チェックポイントを四足システム上でゼロショットのクロス実施形態で展開することを示します。
私たちは、このフレームワークが、動的なロボットの実施形態で表現力豊かな操作スキルを学習するためのスケーラブルな道を提供すると信じています。
ロボットのビデオ、コード、データについては、当社の Web サイトをチェックしてください: https://umi-on-legs.github.io

要約(オリジナル)

We introduce UMI-on-Legs, a new framework that combines real-world and simulation data for quadruped manipulation systems. We scale task-centric data collection in the real world using a hand-held gripper (UMI), providing a cheap way to demonstrate task-relevant manipulation skills without a robot. Simultaneously, we scale robot-centric data in simulation by training whole-body controller for task-tracking without task simulation setups. The interface between these two policies is end-effector trajectories in the task frame, inferred by the manipulation policy and passed to the whole-body controller for tracking. We evaluate UMI-on-Legs on prehensile, non-prehensile, and dynamic manipulation tasks, and report over 70% success rate on all tasks. Lastly, we demonstrate the zero-shot cross-embodiment deployment of a pre-trained manipulation policy checkpoint from prior work, originally intended for a fixed-base robot arm, on our quadruped system. We believe this framework provides a scalable path towards learning expressive manipulation skills on dynamic robot embodiments. Please checkout our website for robot videos, code, and data: https://umi-on-legs.github.io

arxiv情報

提供元, 利用サービス

arxiv.jp, Google