BODex: Scalable and Efficient Robotic Dexterous Grasp Synthesis Using Bilevel Optimization

要約

ロボットの器用な把握は、人間のような操作への重要なステップです。
器用な把握のためにデータ駆動型モデルの可能性を最大限に引き出すには、大規模で高品質のデータセットが不可欠です。
勾配ベースの最適化は、このようなデータセットを構築するための有望な方法を提供しますが、既存の研究には、エネルギー設計における制限的な仮定や小さなオブジェクトセットでの限られた実験などの制限があります。
さらに、合成方法とデータセットを比較するための標準ベンチマークの欠如が、この分野の進歩を妨げています。
これらの課題に対処するために、私たちは高効率の合成システムと、巧みな把握のための MuJoCo を使用した包括的なベンチマークを開発しました。
私たちのシステムは、新しい下位レベルの二次計画法 (QP) と上位レベルの勾配降下プロセスを組み合わせた 2 レベルの最適化問題として把握合成を定式化します。
CUDA で高速化されたロボット ライブラリと GPU ベースの QP ソルバーの最近の進歩を活用することで、当社のシステムは数千の把握を並列化し、単一の NVIDIA 3090 GPU で 1 秒あたり 49 を超える把握を合成できます。
当社の Shadow Hand および Allegro Hand 用の合成グリップは、MuJoCo で 75% 以上の成功率を達成し、侵入深さと接触距離は 1 mm 未満で、ほぼすべての指標で既存のベースラインを上回っています。
以前の大規模データセットである DexGraspNet と比較して、私たちのデータセットは学習モデルのパフォーマンスを大幅に向上させ、シミュレーション成功率は約 40% から 80% に向上しました。
Shadow Hand でトレーニングされたモデルを実際にテストしたところ、20 個のさまざまなオブジェクトにわたって 81% の成功率を達成しました。

要約(オリジナル)

Robotic dexterous grasping is a key step toward human-like manipulation. To fully unleash the potential of data-driven models for dexterous grasping, a large-scale, high-quality dataset is essential. While gradient-based optimization offers a promising way for constructing such datasets, existing works suffer from limitations, such as restrictive assumptions in energy design or limited experiments on small object sets. Moreover, the lack of a standard benchmark for comparing synthesis methods and datasets hinders progress in this field. To address these challenges, we develop a highly efficient synthesis system and a comprehensive benchmark with MuJoCo for dexterous grasping. Our system formulates grasp synthesis as a bilevel optimization problem, combining a novel lower-level quadratic programming (QP) with an upper-level gradient descent process. By leveraging recent advances in CUDA-accelerated robotic libraries and GPU-based QP solvers, our system can parallelize thousands of grasps and synthesize over 49 grasps per second on a single NVIDIA 3090 GPU. Our synthesized grasps for Shadow Hand and Allegro Hand achieve a success rate above 75% in MuJoCo, with a penetration depth and contact distance of under 1 mm, outperforming existing baselines on nearly all metrics. Compared to the previous large-scale dataset, DexGraspNet, our dataset significantly improves the performance of learning models, with a simulation success rate from around 40% to 80%. Real-world testing of the trained model on the Shadow Hand achieves an 81% success rate across 20 diverse objects.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google