HACMan++: Spatially-Grounded Motion Primitives for Manipulation

要約

エンドツーエンドのロボット学習はロボット操作に関してある程度の成功を示していますが、学習されたポリシーはオブジェクトの姿勢や形状の変化に対して十分に堅牢ではないことがよくあります。
ポリシーの一般化を改善するために、メソッド HACMan++ に空間的に根拠のあるパラメーター化されたモーション プリミティブを導入します。
具体的には、どのようなプリミティブ タイプ (握る、押すなど) を実行するか、プリミティブがどこに接地するか (グリッパーが世界と接触する場所など)、およびプリミティブ動作がどのように行われるかという 3 つのコンポーネントで構成されるアクション表現を提案します。
押す方向や掴む方向を指定するパラメータなどを実行します。
これら 3 つのコンポーネントは、強化学習のための新しい離散連続アクション空間を定義します。
私たちのフレームワークでは、ロボット エージェントがさまざまなモーション プリミティブを連鎖させ、適切なプリミティブ パラメーターを選択して長期的な操作タスクを完了することを学習できます。
プリミティブを環境内の空間的な位置に固定することにより、私たちの方法はオブジェクトの形状とポーズのバリエーション全体を効果的に一般化することができます。
私たちのアプローチは、特に高レベルの逐次推論とオブジェクトの一般化の両方を必要とする複雑なシナリオにおいて、既存の手法を大幅に上回ります。
ゼロショットのシミュレーションからリアルへの転送により、私たちのポリシーは、目に見えないオブジェクトへの一般化により、困難な現実世界の操作タスクに成功します。
ビデオはプロジェクト Web サイト https://sgmp-rss2024.github.io でご覧いただけます。

要約(オリジナル)

Although end-to-end robot learning has shown some success for robot manipulation, the learned policies are often not sufficiently robust to variations in object pose or geometry. To improve the policy generalization, we introduce spatially-grounded parameterized motion primitives in our method HACMan++. Specifically, we propose an action representation consisting of three components: what primitive type (such as grasp or push) to execute, where the primitive will be grounded (e.g. where the gripper will make contact with the world), and how the primitive motion is executed, such as parameters specifying the push direction or grasp orientation. These three components define a novel discrete-continuous action space for reinforcement learning. Our framework enables robot agents to learn to chain diverse motion primitives together and select appropriate primitive parameters to complete long-horizon manipulation tasks. By grounding the primitives on a spatial location in the environment, our method is able to effectively generalize across object shape and pose variations. Our approach significantly outperforms existing methods, particularly in complex scenarios demanding both high-level sequential reasoning and object generalization. With zero-shot sim-to-real transfer, our policy succeeds in challenging real-world manipulation tasks, with generalization to unseen objects. Videos can be found on the project website: https://sgmp-rss2024.github.io.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google