DexCap: Scalable and Portable Mocap Data Collection System for Dexterous Manipulation

要約

人間の手の動作データからの模倣学習は、現実世界の操作タスクにおいてロボットに人間のような器用さを吹き込むための有望な手段となります。
この可能性にもかかわらず、特に既存のハンド モーション キャプチャ (モーション キャプチャ) システムの移植性と、モーション キャプチャ データを効果的な制御ポリシーに変換する難しさなど、大きな課題が依然として残っています。
これらの問題に取り組むために、人間の手のモーション キャプチャ データから直接ロボットの器用なスキルをトレーニングするための新しい模倣アルゴリズムである DexIL と並行して、ポータブル ハンド モーション キャプチャ システムである DexCap を導入します。
DexCap は、環境の 3D 観察とともに、SLAM と電磁場に基づいて、手首と指の動きの正確で閉塞耐性のある追跡を提供します。
この豊富なデータセットを利用して、DexIL は逆運動学と点群ベースの模倣学習を採用し、ロボットハンドで人間の動作を再現します。
人間の動きから学習するだけでなく、DexCap はロボットのパフォーマンスを改良し、さらに向上させるためのオプションの人間参加型補正メカニズムも提供します。
6 つの器用な操作タスクにわたる広範な評価を通じて、私たちのアプローチは優れたパフォーマンスを実証するだけでなく、実際のモーションキャプチャ データから効果的に学習するシステムの能力を実証し、器用な操作のための将来のデータ収集方法への道を開きます。
詳細については、https://dex-cap.github.io をご覧ください。

要約(オリジナル)

Imitation learning from human hand motion data presents a promising avenue for imbuing robots with human-like dexterity in real-world manipulation tasks. Despite this potential, substantial challenges persist, particularly with the portability of existing hand motion capture (mocap) systems and the difficulty of translating mocap data into effective control policies. To tackle these issues, we introduce DexCap, a portable hand motion capture system, alongside DexIL, a novel imitation algorithm for training dexterous robot skills directly from human hand mocap data. DexCap offers precise, occlusion-resistant tracking of wrist and finger motions based on SLAM and electromagnetic field together with 3D observations of the environment. Utilizing this rich dataset, DexIL employs inverse kinematics and point cloud-based imitation learning to replicate human actions with robot hands. Beyond learning from human motion, DexCap also offers an optional human-in-the-loop correction mechanism to refine and further improve robot performance. Through extensive evaluation across six dexterous manipulation tasks, our approach not only demonstrates superior performance but also showcases the system’s capability to effectively learn from in-the-wild mocap data, paving the way for future data collection methods for dexterous manipulation. More details can be found at https://dex-cap.github.io

arxiv情報

提供元, 利用サービス

arxiv.jp, Google