Harnessing the Synergy between Pushing, Grasping, and Throwing to Enhance Object Manipulation in Cluttered Scenarios

要約

この研究では、ロボット操作の領域内で、押すなどの非把握可能な動作と、掴んだり投げたりするような把握可能な動作の間の複雑な相乗効果を掘り下げます。
モデルフリーの深層強化学習を活用して、これらの相乗効果を学習する革新的なアプローチを紹介します。
ロボットのワークフローには、各タイム ステップでターゲット オブジェクトとバスケットの姿勢を検出し、ターゲット オブジェクトを分離するための最適な押し構成を予測し、適切な把握構成を決定し、バスケットに正確に投げ込むために必要なパラメーターを推測することが含まれます。
これにより、ロボットは、押すことで乱雑なシナリオを巧みに再構成し、衝突のない掴み動作のためのスペースを作成できるようになります。
同時に、投げ動作を統合し、この動作がロボットの動作範囲を大幅に拡大することを示します。
安全性を確保するために、ロボット トレーニング用のシミュレーション環境を Gazebo に開発し、学習したポリシーを実際のロボットに直接適用しました。
注目すべきことに、この研究は、押す、握る、投げる動作の間の相乗効果を学ぶための先駆的な取り組みを表しています。
シミュレーションと実際のロボットの両方のシナリオでの広範な実験により、さまざまな設定におけるアプローチの有効性が実証されています。
私たちのアプローチは、シミュレーション シナリオと現実世界のシナリオの両方で 80\% を超える成功率を達成しています。
私たちの実験を紹介するビデオは、オンラインでご覧いただけます: https://youtu.be/q1l4BJVDbRw

要約(オリジナル)

In this work, we delve into the intricate synergy among non-prehensile actions like pushing, and prehensile actions such as grasping and throwing, within the domain of robotic manipulation. We introduce an innovative approach to learning these synergies by leveraging model-free deep reinforcement learning. The robot’s workflow involves detecting the pose of the target object and the basket at each time step, predicting the optimal push configuration to isolate the target object, determining the appropriate grasp configuration, and inferring the necessary parameters for an accurate throw into the basket. This empowers robots to skillfully reconfigure cluttered scenarios through pushing, creating space for collision-free grasping actions. Simultaneously, we integrate throwing behavior, showcasing how this action significantly extends the robot’s operational reach. Ensuring safety, we developed a simulation environment in Gazebo for robot training, applying the learned policy directly to our real robot. Notably, this work represents a pioneering effort to learn the synergy between pushing, grasping, and throwing actions. Extensive experimentation in both simulated and real-robot scenarios substantiates the effectiveness of our approach across diverse settings. Our approach achieves a success rate exceeding 80\% in both simulated and real-world scenarios. A video showcasing our experiments is available online at: https://youtu.be/q1l4BJVDbRw

arxiv情報

提供元, 利用サービス

arxiv.jp, Google