DextrAH-G: Pixels-to-Action Dexterous Arm-Hand Grasping with Geometric Fabrics

要約

ロボット工学における極めて重要な課題は、多様な物体を高速、安全、かつロバストに器用に把持することであり、これは産業用途における重要な目標である。しかし、既存の手法では、速度、器用さ、汎用性が非常に限られており、ハードウェアの安全性も限定的か、全く保証されていないことが多い。本研究では、強化学習、幾何学的ファブリック、教師と生徒の蒸留を組み合わせた、完全にシミュレーションで訓練された深度ベースの器用な把持方針であるDextrAH-Gを紹介する。我々は、高次元観測・行動空間、sim2realギャップ、衝突回避、ハードウェア制約など、腕と手の共同政策学習における主要な課題に取り組む。DextrAH-Gは、奥行き画像を含むマルチモーダル入力を用いて、23モータアームハンドロボットによる多種多様な物体の安全かつ連続的な把持と高速搬送を可能にし、物体形状を超えた汎化を可能にします。ビデオはhttps://sites.google.com/view/dextrah-g。

要約(オリジナル)

A pivotal challenge in robotics is achieving fast, safe, and robust dexterous grasping across a diverse range of objects, an important goal within industrial applications. However, existing methods often have very limited speed, dexterity, and generality, along with limited or no hardware safety guarantees. In this work, we introduce DextrAH-G, a depth-based dexterous grasping policy trained entirely in simulation that combines reinforcement learning, geometric fabrics, and teacher-student distillation. We address key challenges in joint arm-hand policy learning, such as high-dimensional observation and action spaces, the sim2real gap, collision avoidance, and hardware constraints. DextrAH-G enables a 23 motor arm-hand robot to safely and continuously grasp and transport a large variety of objects at high speed using multi-modal inputs including depth images, allowing generalization across object geometry. Videos at https://sites.google.com/view/dextrah-g.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL