DextrAH-G: Pixels-to-Action Dexterous Arm-Hand Grasping with Geometric Fabrics

要約

ロボット工学における極めて重要な課題は、産業用途における重要な目標である、さまざまな対象物を素早く、安全かつ堅牢に器用に把握することです。
ただし、既存の方法では、速度、器用さ、汎用性が非常に限られていることが多く、ハードウェアの安全性保証も限られているか、まったくありません。
この研究では、DextrAH-G を導入します。DextrAH-G は、強化学習、幾何学的ファブリック、教師と生徒の蒸留を組み合わせたシミュレーションで完全に訓練された、深さに基づく器用な把握ポリシーです。
私たちは、高次元の観察空間とアクション空間、sim2real ギャップ、衝突回避、ハードウェア制約など、腕と手の共同ポリシー学習における重要な課題に取り組みます。
DextrAH-G を使用すると、23 モーターのアームハンド ロボットが、深度画像を含むマルチモーダル入力を使用して、安全かつ継続的にさまざまな物体を高速で掴み、搬送できるようになり、物体形状全体にわたる汎用化が可能になります。
ビデオは https://sites.google.com/view/dextrah-g にあります。

要約(オリジナル)

A pivotal challenge in robotics is achieving fast, safe, and robust dexterous grasping across a diverse range of objects, an important goal within industrial applications. However, existing methods often have very limited speed, dexterity, and generality, along with limited or no hardware safety guarantees. In this work, we introduce DextrAH-G, a depth-based dexterous grasping policy trained entirely in simulation that combines reinforcement learning, geometric fabrics, and teacher-student distillation. We address key challenges in joint arm-hand policy learning, such as high-dimensional observation and action spaces, the sim2real gap, collision avoidance, and hardware constraints. DextrAH-G enables a 23 motor arm-hand robot to safely and continuously grasp and transport a large variety of objects at high speed using multi-modal inputs including depth images, allowing generalization across object geometry. Videos at https://sites.google.com/view/dextrah-g.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google