DexCap: Scalable and Portable Mocap Data Collection System for Dexterous Manipulation

要約

人間の手の動きデータからの模倣学習は、実世界の操作タスクにおいて人間のような器用さをロボットに与えるための有望な手段を提示している。このような可能性があるにもかかわらず、特に既存のハンドモーションキャプチャ（mocap）システムの可搬性や、mocapデータを効果的なロボット政策に変換する複雑さなど、大きな課題が残っている。これらの問題に取り組むために、我々は、人間の手のモーキャプデータから直接器用なロボットのスキルを訓練するための新しい模倣アルゴリズムであるDexILと一緒に、ポータブルハンドモーションキャプチャシステムであるDexCapを紹介します。DexCapは、SLAMと電磁界に基づく手首と指の動きの正確で耐オクルージョン性のあるトラッキングを、環境の3D観察とともに提供する。この豊富なデータセットを活用し、DexILは逆運動学と点群ベースの模倣学習を採用して、人間の動作をロボットハンドでシームレスに再現します。DexCapは、人間の動作から直接学習するだけでなく、オプションとして、ポリシーのロールアウト中に人間がループ内で修正するメカニズムも提供し、タスクのパフォーマンスを洗練させ、さらに向上させます。6つの難易度の高い器用な操作タスクの広範な評価を通じて、我々のアプローチは優れた性能を実証するだけでなく、システムが野生のモーキャプデータから効果的に学習する能力を示し、人間レベルのロボットの器用さを追求する将来のデータ収集方法への道を開きます。詳細はhttps://dex-cap.github.io。

要約(オリジナル)

Imitation learning from human hand motion data presents a promising avenue for imbuing robots with human-like dexterity in real-world manipulation tasks. Despite this potential, substantial challenges persist, particularly with the portability of existing hand motion capture (mocap) systems and the complexity of translating mocap data into effective robotic policies. To tackle these issues, we introduce DexCap, a portable hand motion capture system, alongside DexIL, a novel imitation algorithm for training dexterous robot skills directly from human hand mocap data. DexCap offers precise, occlusion-resistant tracking of wrist and finger motions based on SLAM and electromagnetic field together with 3D observations of the environment. Utilizing this rich dataset, DexIL employs inverse kinematics and point cloud-based imitation learning to seamlessly replicate human actions with robot hands. Beyond direct learning from human motion, DexCap also offers an optional human-in-the-loop correction mechanism during policy rollouts to refine and further improve task performance. Through extensive evaluation across six challenging dexterous manipulation tasks, our approach not only demonstrates superior performance but also showcases the system’s capability to effectively learn from in-the-wild mocap data, paving the way for future data collection methods in the pursuit of human-level robot dexterity. More details can be found at https://dex-cap.github.io

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL