UniDexGrasp: Universal Robotic Dexterous Grasping via Learning Diverse Proposal Generation and Goal-Conditioned Policy

要約

この作業では、テーブルトップ設定での点群観察から普遍的なロボットの器用な把握を学習する問題に取り組みます。
目標は、高品質で多様な方法でオブジェクトを把握して持ち上げ、何百ものカテゴリや目に見えないものでさえも一般化することです。
並列グリッパー把持で使用された成功したパイプラインに着想を得て、タスクを 2 つの段階に分割しました: 1) 把持提案 (ポーズ) 生成と 2) 目標条件付き把持実行。
最初の段階では、並進と関節からの回転を因数分解する点群観測に基づいて条件付けられた把握ポーズの新しい確率モデルを提案します。
合成された大規模な器用な把握データセットでトレーニングされたこのモデルにより、オブジェクト ポイント クラウドの多様で高品質な器用な把握ポーズをサンプリングできます。
器用な把握の実行には複雑さが伴うため、目標条件付きの把握ポリシー。
オラクル状態なしで現実的な入力のみを取る、この非常に一般化可能な把握ポリシーを学習することは非常に困難であることに注意してください。
したがって、状態の正規化、オブジェクトのカリキュラム、教師と生徒の蒸留など、いくつかの重要な革新を提案します。
2 つの段階を統合することで、最終的なパイプラインは、器用な把握のための普遍的な一般化を達成する最初のものとなり、数千のオブジェクト インスタンスで 60\% を超える平均成功率を示します。

要約(オリジナル)

In this work, we tackle the problem of learning universal robotic dexterous grasping from a point cloud observation under a table-top setting. The goal is to grasp and lift up objects in high-quality and diverse ways and generalize across hundreds of categories and even the unseen. Inspired by successful pipelines used in parallel gripper grasping, we split the task into two stages: 1) grasp proposal (pose) generation and 2) goal-conditioned grasp execution. For the first stage, we propose a novel probabilistic model of grasp pose conditioned on the point cloud observation that factorizes rotation from translation and articulation. Trained on our synthesized large-scale dexterous grasp dataset, this model enables us to sample diverse and high-quality dexterous grasp poses for the object point cloud.For the second stage, we propose to replace the motion planning used in parallel gripper grasping with a goal-conditioned grasp policy, due to the complexity involved in dexterous grasping execution. Note that it is very challenging to learn this highly generalizable grasp policy that only takes realistic inputs without oracle states. We thus propose several important innovations, including state canonicalization, object curriculum, and teacher-student distillation. Integrating the two stages, our final pipeline becomes the first to achieve universal generalization for dexterous grasping, demonstrating an average success rate of more than 60\% on thousands of object instances, which significantly outperforms all baselines, meanwhile showing only a minimal generalization gap.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google