DexMV: Imitation Learning for Dexterous Manipulation from Human Videos

要約

コンピュータビジョンにおける手と物体の相互作用の理解には大きな進歩があるが、ロボットが複雑な器用な操作を行うことはまだ非常に困難である。本論文では、模倣学習のための新しいプラットフォームとパイプラインDexMV (Dexterous Manipulation from Videos)を提案する。本論文では、以下のようなプラットフォームを提案する。(1)多指ロボットハンドによる複雑な器用操作タスクのシミュレーションシステム、(2)同じタスクを行う人間の手の大規模なデモンストレーションを記録するコンピュータビジョンシステムを備えたプラットフォームを設計する。本パイプラインでは、映像から手と物体の3次元姿勢を抽出し、人間の動作をロボットの実演に変換する新しい実演変換手法を提案する。次に、複数の模倣学習アルゴリズムを適用し、ベンチマークを行う。その結果、実演はロボットの学習を大幅に改善し、強化学習だけでは解決できない複雑なタスクを解決できることを示す。詳細は、プロジェクトページ（https://yzqin.github.io/dexmv）をご覧ください。

要約(オリジナル)

While significant progress has been made on understanding hand-object interactions in computer vision, it is still very challenging for robots to perform complex dexterous manipulation. In this paper, we propose a new platform and pipeline DexMV (Dexterous Manipulation from Videos) for imitation learning. We design a platform with: (i) a simulation system for complex dexterous manipulation tasks with a multi-finger robot hand and (ii) a computer vision system to record large-scale demonstrations of a human hand conducting the same tasks. In our novel pipeline, we extract 3D hand and object poses from videos, and propose a novel demonstration translation method to convert human motion to robot demonstrations. We then apply and benchmark multiple imitation learning algorithms with the demonstrations. We show that the demonstrations can indeed improve robot learning by a large margin and solve the complex tasks which reinforcement learning alone cannot solve. More details can be found in the project page: https://yzqin.github.io/dexmv

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL