Multi-Stage Reinforcement Learning for Non-Prehensile Manipulation

要約

物体を掴まずに操作すると、非把握的操作と呼ばれる、より複雑なタスクが可能になります。
これまでの手法のほとんどは、リーチやプッシュなど 1 つの操作スキルのみを学習し、柔軟なオブジェクト操作を実現できませんでした。この研究では、物体の非把握性操作のための多段階強化学習アプローチである MRLM を導入します。MRLM は、オブジェクトのポーズと接触点の切り替えに応じてタスクを複数の段階に分割します。各段階で、ポリシーは点群ベースの状態と目標の融合表現を入力として受け取り、平行グリッパーのポーズの動作を含む空間的に連続したアクションを提案します。 MRLM の可能性を完全に解き放つために、状態目標融合表現、空間的に到達可能な距離メトリック、および自動バッファ圧縮を含む一連の技術貢献を提案します。最初に遮蔽された構成でオブジェクトを把握することを目的とした遮蔽把握タスクで MRLM を評価します。ベースラインと比較して、提案された技術貢献は成功率を少なくとも 40\%、最大 100\% 向上させ、局所最適に陥ることを回避します。このメソッドは、トレーニング分布外の形状を持つ目に見えないオブジェクトに対する強力な一般化を示します。さらに、MRLM はゼロショット転送で現実世界に転送でき、95% の成功率を達成します。コードとビデオは https://sites.google.com/view/mrlm でご覧いただけます。

要約(オリジナル)

Manipulating objects without grasping them enables more complex tasks, known as non-prehensile manipulation. Most previous methods only learn one manipulation skill, such as reach or push, and cannot achieve flexible object manipulation.In this work, we introduce MRLM, a Multi-stage Reinforcement Learning approach for non-prehensile Manipulation of objects.MRLM divides the task into multiple stages according to the switching of object poses and contact points.At each stage, the policy takes the point cloud-based state-goal fusion representation as input, and proposes a spatially-continuous action that including the motion of the parallel gripper pose and opening width.To fully unlock the potential of MRLM, we propose a set of technical contributions including the state-goal fusion representation, spatially-reachable distance metric, and automatic buffer compaction.We evaluate MRLM on an Occluded Grasping task which aims to grasp the object in configurations that are initially occluded.Compared with the baselines, the proposed technical contributions improve the success rate by at least 40\% and maximum 100\%, and avoids falling into local optimum.Our method demonstrates strong generalization to unseen object with shapes outside the training distribution.Moreover, MRLM can be transferred to real world with zero-shot transfer, achieving a 95\% success rate.Code and videos can be found at https://sites.google.com/view/mrlm.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google