Physics-Aware Iterative Learning and Prediction of Saliency Map for Bimanual Grasp Planning

要約

人間の両手で掴むスキルを習得すると、大きな物体や重い物体を掴む際のロボット システムの能力を拡張できます。
ただし、片手による把握よりもはるかに大きな把握ポイントの検索スペースと、ネットワーク学習のための多数の両手による把握のアノテーションが必要となり、データ駆動型または分析的な把握手法の両方が非効率的かつ不十分になります。
我々は、既存の人間の片手掴みデータに基づいて両手掴みの接触点を予測することを目的とした両手掴み顕著性学習のフレームワークを提案します。
両手の握り位置間の対応を確立する最小限の両手接触アノテーションを通じて、顕著性に対応するベクトルを学習します。これにより、大規模な両手握りデータセットをトレーニングする必要性を排除できます。
既存の片手掴み顕著性値は両手掴み顕著性の初期値として機能し、初期値を加算して最終的な両手掴み顕著性値を取得する顕著性調整スコアを学習します。これにより、片手から好ましい両手掴み位置を予測できます。
顕著性を把握します。
また、物理バランス損失関数と物理把握バランスを可能にし、未知のオブジェクトの一般化を強化できる物理認識改良モジュールも導入します。
シミュレーションにおける包括的な実験と器用なグリッパーの比較により、私たちの方法がバランスの取れた両手による掴みを効果的に達成できることが実証されました。

要約(オリジナル)

Learning the skill of human bimanual grasping can extend the capabilities of robotic systems when grasping large or heavy objects. However, it requires a much larger search space for grasp points than single-hand grasping and numerous bimanual grasping annotations for network learning, making both data-driven or analytical grasping methods inefficient and insufficient. We propose a framework for bimanual grasp saliency learning that aims to predict the contact points for bimanual grasping based on existing human single-handed grasping data. We learn saliency corresponding vectors through minimal bimanual contact annotations that establishes correspondences between grasp positions of both hands, capable of eliminating the need for training a large-scale bimanual grasp dataset. The existing single-handed grasp saliency value serves as the initial value for bimanual grasp saliency, and we learn a saliency adjusted score that adds the initial value to obtain the final bimanual grasp saliency value, capable of predicting preferred bimanual grasp positions from single-handed grasp saliency. We also introduce a physics-balance loss function and a physics-aware refinement module that enables physical grasp balance, capable of enhancing the generalization of unknown objects. Comprehensive experiments in simulation and comparisons on dexterous grippers have demonstrated that our method can achieve balanced bimanual grasping effectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google