ZeroMimic: Distilling Robotic Manipulation Skills from Web Videos

要約

ロボット操作における最近の多くの進歩は、模倣学習を通じてもたらされていますが、これらは主に特に困難な形のデモンストレーションを模倣することに依存しています。訓練されたポリシーと同じオブジェクトを持つ同じ部屋の同じロボットで収集されたものは、テスト時に処理する必要があります。
対照的に、ロボットの貴重な情報を含む、野生の操作スキルを示す、大規模な事前に記録された人間のビデオデータセットがすでに存在しています。
ロボット固有のデモや探索に関する追加要件なしに、そのようなデータから有用なロボットスキルポリシーのリポジトリを蒸留することは可能ですか？
最初のシステムゼロミミックを提示します。これは、多様なオブジェクトに作用し、多様な目に見えないタスクセットアップ全体に作用できる、いくつかの一般的なカテゴリの操作タスク（開閉、閉鎖、注入、ピック、および攪拌）のために、すぐに展開可能な画像の目標条件付けされたスキルポリシーを生成します。
Zeromimicは、最新の把握アフォーダンス検出器と模倣ポリシークラスとともに、人間のビデオのセマンティックおよび幾何学的な視覚的理解における最近の進歩を活用するように慎重に設計されています。
自我中心の人間のビデオの人気のエピキッチンデータセットでゼロミミックをトレーニングした後、さまざまな現実世界とシミュレートされたキッチン設定でのすぐにボックスのパフォーマンスを評価し、2つの異なるロボット実施形態を備えたシミュレートされたキッチン設定を評価し、これらのさまざまなタスクを処理する印象的な能力を示します。
他のタスクのセットアップやロボットでゼロミミックポリシーをプラグアンドプレイ再利用できるようにするために、スキルポリシーのソフトウェアおよびポリシーチェックポイントをリリースします。

要約(オリジナル)

Many recent advances in robotic manipulation have come through imitation learning, yet these rely largely on mimicking a particularly hard-to-acquire form of demonstrations: those collected on the same robot in the same room with the same objects as the trained policy must handle at test time. In contrast, large pre-recorded human video datasets demonstrating manipulation skills in-the-wild already exist, which contain valuable information for robots. Is it possible to distill a repository of useful robotic skill policies out of such data without any additional requirements on robot-specific demonstrations or exploration? We present the first such system ZeroMimic, that generates immediately deployable image goal-conditioned skill policies for several common categories of manipulation tasks (opening, closing, pouring, pick&place, cutting, and stirring) each capable of acting upon diverse objects and across diverse unseen task setups. ZeroMimic is carefully designed to exploit recent advances in semantic and geometric visual understanding of human videos, together with modern grasp affordance detectors and imitation policy classes. After training ZeroMimic on the popular EpicKitchens dataset of ego-centric human videos, we evaluate its out-of-the-box performance in varied real-world and simulated kitchen settings with two different robot embodiments, demonstrating its impressive abilities to handle these varied tasks. To enable plug-and-play reuse of ZeroMimic policies on other task setups and robots, we release software and policy checkpoints of our skill policies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google