EyeSight Hand: Design of a Fully-Actuated Dexterous Robot Hand with Integrated Vision-Based Tactile Sensors and Compliant Actuation

要約

この研究では、手全体の操作を強化するために調整された統合ビジョンベースの触覚センサーを備えた、新しい 7 自由度 (DoF) の人型ハンドである EyeSight Hand を紹介します。
さらに、大規模なデータ収集に対する堅牢性を確保しながら、人間のような力強さとスピードを実現するために、準ダイレクトドライブ作動を中心とした作動スキームを導入します。
私たちは、複雑な操作、ツールの使用、および正確な力の適用の組み合わせを必要とする、ボトルの開封、粘土の切断、およびプレートのピックアンドプレースという 3 つの困難なタスクで EyeSight Hand を評価します。
これらのタスクで訓練された模倣学習モデルは、新しい視覚ドロップアウト戦略を使用して、タスクの成功率を高める上での触覚フィードバックの利点を示しています。
私たちの結果は、触覚センシングの統合によりタスクのパフォーマンスが劇的に向上することを明らかにし、器用な操作における触覚情報の重要な役割を強調しています。

要約(オリジナル)

In this work, we introduce the EyeSight Hand, a novel 7 degrees of freedom (DoF) humanoid hand featuring integrated vision-based tactile sensors tailored for enhanced whole-hand manipulation. Additionally, we introduce an actuation scheme centered around quasi-direct drive actuation to achieve human-like strength and speed while ensuring robustness for large-scale data collection. We evaluate the EyeSight Hand on three challenging tasks: bottle opening, plasticine cutting, and plate pick and place, which require a blend of complex manipulation, tool use, and precise force application. Imitation learning models trained on these tasks, with a novel vision dropout strategy, showcase the benefits of tactile feedback in enhancing task success rates. Our results reveal that the integration of tactile sensing dramatically improves task performance, underscoring the critical role of tactile information in dexterous manipulation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google