Tilde: Teleoperation for Dexterous In-Hand Manipulation Learning with a DeltaHand

要約

ロボットの器用な操作は、ハードウェアとソフトウェアの両方で精度と堅牢性が厳しく要求されるため、依然として困難な領域です。
器用なロボットハンドは複雑なタスクにおいて顕著な能力を発揮していますが、ハンドとタスクの高次元性を考慮すると、ハンドの適応制御ポリシーを効率的に学習することには依然として大きなハードルがあります。
このギャップを埋めるために、私たちは、器用な DeltaHand 上の模倣学習ベースの手操作システムである Tilde を提案します。
これは、1) 低コストで構成可能で制御が簡単な、柔らかく器用なロボット ハンド DeltaHand、2) ユーザー フレンドリーで正確なリアルタイム遠隔操作インターフェイス TeleHand、および 3) 効率的で一般化可能な模倣学習を活用します。
普及政策によるアプローチ。
私たちが提案する TeleHand は、DeltaHand に対してキネマティック ツイン設計を採用しており、遠隔操作中に DeltaHand の正確な 1 対 1 の関節制御を可能にします。
これにより、現実世界での人間によるデモンストレーションの効率的な高品質データ収集が容易になります。
システムの有効性を評価するために、平均成功率 90% の 7 つの巧みな操作タスクにわたるデモンストレーションから学習した拡散ポリシーの完全自律型閉ループ展開を実証します。

要約(オリジナル)

Dexterous robotic manipulation remains a challenging domain due to its strict demands for precision and robustness on both hardware and software. While dexterous robotic hands have demonstrated remarkable capabilities in complex tasks, efficiently learning adaptive control policies for hands still presents a significant hurdle given the high dimensionalities of hands and tasks. To bridge this gap, we propose Tilde, an imitation learning-based in-hand manipulation system on a dexterous DeltaHand. It leverages 1) a low-cost, configurable, simple-to-control, soft dexterous robotic hand, DeltaHand, 2) a user-friendly, precise, real-time teleoperation interface, TeleHand, and 3) an efficient and generalizable imitation learning approach with diffusion policies. Our proposed TeleHand has a kinematic twin design to the DeltaHand that enables precise one-to-one joint control of the DeltaHand during teleoperation. This facilitates efficient high-quality data collection of human demonstrations in the real world. To evaluate the effectiveness of our system, we demonstrate the fully autonomous closed-loop deployment of diffusion policies learned from demonstrations across seven dexterous manipulation tasks with an average 90% success rate.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google