Planning for Multi-Object Manipulation with Graph Neural Network Relational Classifiers

要約

オブジェクトが人間の環境で孤立して存在することはめったにありません。
そのため、複数のオブジェクトが互いにどのように関連しているか、ロボットが世界と相互作用するにつれてそれらの関係がどのように変化するかについて、ロボットに推論させたいと考えています。
この目的のために、マルチオブジェクト操作のための新しいグラフニューラルネットワークフレームワークを提案し、与えられたロボットアクションでオブジェクト間の関係がどのように変化するかを予測します。
私たちのモデルは部分視点の点群で動作し、操作中に複数のオブジェクトが動的に相互作用することを推論できます。
学習された潜在グラフ埋め込み空間でダイナミクス モデルを学習することにより、モデルは多段階の計画を立ててターゲットのゴール関係に到達することができます。
純粋にシミュレーションでトレーニングされたモデルが現実世界にうまく移行することを示します。
私たちのプランナーは、ロボットがプッシュとピックとプレースの両方のスキルを使用して、さまざまな形状とサイズのさまざまな数のオブジェクトを再配置できるようにします。

要約(オリジナル)

Objects rarely sit in isolation in human environments. As such, we’d like our robots to reason about how multiple objects relate to one another and how those relations may change as the robot interacts with the world. To this end, we propose a novel graph neural network framework for multi-object manipulation to predict how inter-object relations change given robot actions. Our model operates on partial-view point clouds and can reason about multiple objects dynamically interacting during the manipulation. By learning a dynamics model in a learned latent graph embedding space, our model enables multi-step planning to reach target goal relations. We show our model trained purely in simulation transfers well to the real world. Our planner enables the robot to rearrange a variable number of objects with a range of shapes and sizes using both push and pick and place skills.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google