Learning Dual-Arm Coordination for Grasping Large Flat Objects

要約

本やキーボードのような大きな平らな物体を水平に把持することは、シングルアームのロボットシステムにとって大きな課題であり、把持を容易にするために物体を壁に押し当てたり、表面の端に移動させたりといった余分な動作が必要になることが多い。対照的に、人間の器用さにヒントを得た双腕操作は、複雑な再配置を必要とせずに、物体を持ち上げて把持するために両腕を直接協調させることで、より洗練された解決策を提供する。本論文では、大きな平面物体を把持するための双腕協調を可能にする、モデルフリーの深層強化学習（DRL）フレームワークを提案する。大規模な把持ポーズ検出モデルをバックボーンとして利用し、入力画像から高次元特徴を抽出し、それを強化学習（RL）モデルの状態表現として利用する。両腕の協調的な把持動作を学習するために、アクター・クリティック層を共有するCNNベースの近接政策最適化（PPO）アルゴリズムを採用する。本システムはIsaac Gymで学習・テストされ、実際のロボットに展開される。実験結果は、我々の方針が、追加の操作を必要とすることなく、大きな平面物体を効果的に把持できることを示している。さらに、本方針は強力な汎化能力を示し、未知の物体の把持に成功した。重要なことは、微調整なしに実際のロボットに直接移植することができ、ベースライン手法を常に凌駕することである。

要約(オリジナル)

Grasping large flat objects, such as books or keyboards lying horizontally, presents significant challenges for single-arm robotic systems, often requiring extra actions like pushing objects against walls or moving them to the edge of a surface to facilitate grasping. In contrast, dual-arm manipulation, inspired by human dexterity, offers a more refined solution by directly coordinating both arms to lift and grasp the object without the need for complex repositioning. In this paper, we propose a model-free deep reinforcement learning (DRL) framework to enable dual-arm coordination for grasping large flat objects. We utilize a large-scale grasp pose detection model as a backbone to extract high-dimensional features from input images, which are then used as the state representation in a reinforcement learning (RL) model. A CNN-based Proximal Policy Optimization (PPO) algorithm with shared Actor-Critic layers is employed to learn coordinated dual-arm grasp actions. The system is trained and tested in Isaac Gym and deployed to real robots. Experimental results demonstrate that our policy can effectively grasp large flat objects without requiring additional maneuvers. Furthermore, the policy exhibits strong generalization capabilities, successfully handling unseen objects. Importantly, it can be directly transferred to real robots without fine-tuning, consistently outperforming baseline methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL