DexUMI: Using Human Hand as the Universal Manipulation Interface for Dexterous Manipulation

要約

Dexumiは、人間の手を自然なインターフェイスとして使用して、さまざまなロボットの手に器用な操作スキルを転送するデータ収集と政策学習のフレームワークを提示します。
Dexumiには、人間の手とさまざまなロボットの手の間の具体化のギャップを最小限に抑えるために、ハードウェアとソフトウェアの適応が含まれています。
ハードウェアの適応は、ウェアラブルハンドエキソ販売を使用して運動学のギャップを橋渡しします。
操作データ収集における直接的な触覚フィードバックを可能にし、人間の動きを実行可能なロボットの手の動きに適応させます。
ソフトウェアの適応は、ビデオデータの人間の手を高忠実度のロボットの手に入れて入力することにより、視覚的なギャップを橋渡しします。
2つの異なる器用なロボットハンドウェアプラットフォームでの包括的な実世界の実験を通じてDexumiの機能を実証し、平均タスク成功率86％を達成します。

要約(オリジナル)

We present DexUMI – a data collection and policy learning framework that uses the human hand as the natural interface to transfer dexterous manipulation skills to various robot hands. DexUMI includes hardware and software adaptations to minimize the embodiment gap between the human hand and various robot hands. The hardware adaptation bridges the kinematics gap using a wearable hand exoskeleton. It allows direct haptic feedback in manipulation data collection and adapts human motion to feasible robot hand motion. The software adaptation bridges the visual gap by replacing the human hand in video data with high-fidelity robot hand inpainting. We demonstrate DexUMI’s capabilities through comprehensive real-world experiments on two different dexterous robot hand hardware platforms, achieving an average task success rate of 86%.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google