Latent Space Planning for Multi-Object Manipulation with Environment-Aware Relational Classifiers

要約

日常的な人間環境において、物体が単独で置かれていることはほとんどない。私たちがロボットに人間の環境での操作やタスクを実行させたいのであれば、最も単純なタスクを除いて、ロボットが操作する物体が環境の構造的要素とどのように相互作用するかを理解する必要がある。そのため、ロボットに複数の物体や環境要素が互いにどのように関係し、ロボットが世界と相互作用する際にそれらの関係がどのように変化するかを推論してもらいたい。我々は、部分的な点群から、まだ見たことのない物体や新しい環境間の物体間関係や物体-環境関係を予測する問題を検討する。我々のアプローチは、ロボットが論理的関係から定義される複数のオブジェクト操作タスクを完了するためのシーケンスを計画し実行することを可能にする。これにより、ロボットに目標としての明示的で連続的なオブジェクトの状態を提供する負担がなくなる。我々はこのタスクのためにいくつかの異なるニューラルネットワークアーキテクチャを探索した。その結果、オブジェクトと環境の関係を予測し、潜在空間ダイナミクス関数を学習する、新しい変換器ベースのニューラルネットワークが最も優れた性能を示すことがわかった。我々は、微調整なしで信頼性の高いシミュレーションから実写への転送を達成した。我々の実験は、我々のモデルが、観測された環境形状の変化がオブジェクト間の意味的関係にどのように関連するかを理解していることを示している。ウェブサイトhttps://sites.google.com/view/erelationaldynamics。

要約(オリジナル)

Objects rarely sit in isolation in everyday human environments. If we want robots to operate and perform tasks in our human environments, they must understand how the objects they manipulate will interact with structural elements of the environment for all but the simplest of tasks. As such, we’d like our robots to reason about how multiple objects and environmental elements relate to one another and how those relations may change as the robot interacts with the world. We examine the problem of predicting inter-object and object-environment relations between previously unseen objects and novel environments purely from partial-view point clouds. Our approach enables robots to plan and execute sequences to complete multi-object manipulation tasks defined from logical relations. This removes the burden of providing explicit, continuous object states as goals to the robot. We explore several different neural network architectures for this task. We find the best performing model to be a novel transformer-based neural network that both predicts object-environment relations and learns a latent-space dynamics function. We achieve reliable sim-to-real transfer without any fine-tuning. Our experiments show that our model understands how changes in observed environmental geometry relate to semantic relations between objects. We show more videos on our website: https://sites.google.com/view/erelationaldynamics.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL