Cross-Embodiment Dexterous Grasping with Reinforcement Learning

要約

器用なハンドは、実世界の複雑な把持タスクに対して大きな可能性を示している。近年の研究では、主に特定のロボットハンドのためのポリシーの学習に焦点が当てられているが、多様な器用ハンドを制御する普遍的なポリシーの開発はほとんど未解明のままである。本研究では、強化学習(RL)を用いて、器用な手指を横断的に把持するポリシーの学習を研究する。本研究では、人間の手が遠隔操作によって様々な器用な手を制御できることに着想を得て、人間の手の固有表現に基づく普遍的な行動空間を提案する。本論文では、人間の手指の固有把持動作に基づく普遍的な動作空間を提案し、この普遍的な動作空間から出力される固有把持動作を、再ターゲッティングマッピングにより各ロボットハンドの具体的な関節動作に変換する。我々は、ロボットハンドの固有知覚を単純化し、指先と掌の位置のみを含むようにし、異なるロボットハンド間で統一された観察空間を提供する。我々のアプローチは、4つの異なる実施形態に渡るYCBデータセットから、単一のビジョンベースのポリシーを使用して、物体を把持することに80％の成功率を示す。さらに、我々の方針は、以前に見たことのない2つの実施形態へのゼロショット汎化を示し、効率的な微調整で大幅な改善を示した。詳細とビデオについては、プロジェクトページhttps://sites.google.com/view/crossdex。

要約(オリジナル)

Dexterous hands exhibit significant potential for complex real-world grasping tasks. While recent studies have primarily focused on learning policies for specific robotic hands, the development of a universal policy that controls diverse dexterous hands remains largely unexplored. In this work, we study the learning of cross-embodiment dexterous grasping policies using reinforcement learning (RL). Inspired by the capability of human hands to control various dexterous hands through teleoperation, we propose a universal action space based on the human hand’s eigengrasps. The policy outputs eigengrasp actions that are then converted into specific joint actions for each robot hand through a retargeting mapping. We simplify the robot hand’s proprioception to include only the positions of fingertips and the palm, offering a unified observation space across different robot hands. Our approach demonstrates an 80% success rate in grasping objects from the YCB dataset across four distinct embodiments using a single vision-based policy. Additionally, our policy exhibits zero-shot generalization to two previously unseen embodiments and significant improvement in efficient finetuning. For further details and videos, visit our project page https://sites.google.com/view/crossdex.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL