DextrAH-RGB: Visuomotor Policies to Grasp Anything with Dexterous Hands

要約

器用なロボットにとって最も重要でありながら困難なスキルの1つは、多様な物体を把持することである。先行研究の多くは、速度、一般性、または深度マップと物体ポーズへの依存によって制限されている。本論文では、RGB画像入力から器用なアームハンド把持をエンドツーエンドで実行できるシステム、DextrAH-RGBを紹介する。本論文では、様々な物体を器用に把持するために幾何学的な布コントローラに作用する、強化学習によるシミュレーションで特権的な布誘導方針（FGP）を学習する。そして、この特権的なFGPを、フォトリアリスティックなタイルレンダリングを用いたシミュレーションで厳密にRGBベースのFGPに抽出する。我々の知る限り、これは器用な把持のような複雑で、動的で、接触が多いタスクに対して、エンドツーエンドRGBベースのポリシーのロバストなシミュレーション2リアル転送を実証できた最初の研究です。DextrAH-RGBは、深度ベースの器用な把持方針と競合し、実世界の未知の形状、テクスチャ、照明条件を持つ新しいオブジェクトに一般化する。私たちのシステムが様々な未知の物体を把持している動画は \url{https://dextrah-rgb.github.io/} で見ることができます。

要約(オリジナル)

One of the most important, yet challenging, skills for a dexterous robot is grasping a diverse range of objects. Much of the prior work has been limited by speed, generality, or reliance on depth maps and object poses. In this paper, we introduce DextrAH-RGB, a system that can perform dexterous arm-hand grasping end-to-end from RGB image input. We train a privileged fabric-guided policy (FGP) in simulation through reinforcement learning that acts on a geometric fabric controller to dexterously grasp a wide variety of objects. We then distill this privileged FGP into a RGB-based FGP strictly in simulation using photorealistic tiled rendering. To our knowledge, this is the first work that is able to demonstrate robust sim2real transfer of an end2end RGB-based policy for complex, dynamic, contact-rich tasks such as dexterous grasping. DextrAH-RGB is competitive with depth-based dexterous grasping policies, and generalizes to novel objects with unseen geometry, texture, and lighting conditions in the real world. Videos of our system grasping a diverse range of unseen objects are available at \url{https://dextrah-rgb.github.io/}.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL