HACMan: Learning Hybrid Actor-Critic Maps for 6D Non-Prehensile Manipulation

要約

物体を掴まずに操作することは、人間の器用さの重要な要素であり、非把握的操作と呼ばれます。
把握不可能な操作により、オブジェクトとのより複雑な相互作用が可能になる可能性がありますが、グリッパーとオブジェクトの相互作用について推論する際に課題も生じます。
この研究では、点群観察を使用したオブジェクトの 6D 非把握的操作のための強化学習アプローチである Hybrid Actor-Critic Maps for Manipulation (HACMan) を紹介します。
HACMan は、時間的に抽象化され、空間的に接地されたオブジェクト中心のアクション表現を提案します。これは、オブジェクト点群からの接触位置の選択と、接触後にロボットがどのように動くかを記述する一連の動作パラメータから構成されます。
このハイブリッドな離散-連続アクション表現で学習するために、既存のオフポリシー RL アルゴリズムを変更します。
シミュレーションと現実世界の両方で、6D オブジェクトの姿勢調整タスクで HACMan を評価します。
ランダム化された初期ポーズ、ランダム化された 6D 目標、および多様なオブジェクト カテゴリを使用するタスクの最も困難なバージョンでは、私たちのポリシーは、パフォーマンスを低下させることなく、目に見えないオブジェクト カテゴリに対する強力な一般化を実証し、シミュレーションで目に見えないオブジェクトに対して 89%、目に見えないオブジェクトに対して 50% の成功率を達成しました。
現実世界におけるゼロショット転送の成功率。
代替アクション表現と比較して、HACMan は最良のベースラインの 3 倍以上の成功率を達成します。
ゼロショット sim2real 転送を使用すると、私たちのポリシーは、動的で接触が豊富な、把握しにくいスキルを使用して、困難な非平面目標に向けて現実世界の目に見えないオブジェクトをうまく操作できます。
ビデオはプロジェクト Web サイト https://hacman-2023.github.io でご覧いただけます。

要約(オリジナル)

Manipulating objects without grasping them is an essential component of human dexterity, referred to as non-prehensile manipulation. Non-prehensile manipulation may enable more complex interactions with the objects, but also presents challenges in reasoning about gripper-object interactions. In this work, we introduce Hybrid Actor-Critic Maps for Manipulation (HACMan), a reinforcement learning approach for 6D non-prehensile manipulation of objects using point cloud observations. HACMan proposes a temporally-abstracted and spatially-grounded object-centric action representation that consists of selecting a contact location from the object point cloud and a set of motion parameters describing how the robot will move after making contact. We modify an existing off-policy RL algorithm to learn in this hybrid discrete-continuous action representation. We evaluate HACMan on a 6D object pose alignment task in both simulation and in the real world. On the hardest version of our task, with randomized initial poses, randomized 6D goals, and diverse object categories, our policy demonstrates strong generalization to unseen object categories without a performance drop, achieving an 89% success rate on unseen objects in simulation and 50% success rate with zero-shot transfer in the real world. Compared to alternative action representations, HACMan achieves a success rate more than three times higher than the best baseline. With zero-shot sim2real transfer, our policy can successfully manipulate unseen objects in the real world for challenging non-planar goals, using dynamic and contact-rich non-prehensile skills. Videos can be found on the project website: https://hacman-2023.github.io.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google