RoboCook: Long-Horizon Elasto-Plastic Object Manipulation with Diverse Tools

要約

人間は、柔軟なツールを使用することにより、複雑な水平方向の軟体操作タスクに優れています。パンを焼くには、生地をスライスするためのナイフと、それを平らにするための麺棒が必要です。
人間の認知の特徴とみなされることが多いですが、自律型ロボットでのツールの使用は、ツールとオブジェクトの相互作用を理解する際の課題のため、依然として制限されています。
ここでは、さまざまなツールを使用して弾塑性物体を認識、モデル化し、操作するインテリジェント ロボット システム RoboCook を開発します。
RoboCook は点群シーン表現を使用し、グラフ ニューラル ネットワーク (GNN) を使用してツールとオブジェクトの相互作用をモデル化し、ツール分類と自己教師ありポリシー学習を組み合わせて操作計画を考案します。
私たちは、ツールごとにわずか 20 分間の実世界のインタラクション データから、汎用ロボット アームが、団子やアルファベット文字のクッキーの作成など、複雑な水平方向のソフト オブジェクト操作タスクを学習できることを実証しました。
広範な評価により、RoboCook は最先端のアプローチを大幅に上回っており、深刻な外乱に対する堅牢性を示し、さまざまな材料への適応性を実証していることが示されています。

要約(オリジナル)

Humans excel in complex long-horizon soft body manipulation tasks via flexible tool use: bread baking requires a knife to slice the dough and a rolling pin to flatten it. Often regarded as a hallmark of human cognition, tool use in autonomous robots remains limited due to challenges in understanding tool-object interactions. Here we develop an intelligent robotic system, RoboCook, which perceives, models, and manipulates elasto-plastic objects with various tools. RoboCook uses point cloud scene representations, models tool-object interactions with Graph Neural Networks (GNNs), and combines tool classification with self-supervised policy learning to devise manipulation plans. We demonstrate that from just 20 minutes of real-world interaction data per tool, a general-purpose robot arm can learn complex long-horizon soft object manipulation tasks, such as making dumplings and alphabet letter cookies. Extensive evaluations show that RoboCook substantially outperforms state-of-the-art approaches, exhibits robustness against severe external disturbances, and demonstrates adaptability to different materials.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google