Learning Generalizable Tool-use Skills through Trajectory Generation

要約

道具を効率的に利用する自律システムは、料理や掃除といった一般的なタスクの多くをこなす人間を支援することができる。しかし、現在のシステムは、新しい道具に適応するという点で、人間の知能レベルに及ばない。アフォーダンスに基づく先行研究は、環境について強い仮定を置いていることが多く、より複雑で接触が多いタスクには拡張できない。本研究では、この課題に取り組み、エージェントが変形可能なオブジェクトを操作するために、未知の道具を使用することを学習する方法を探求する。我々は、道具の使用軌跡の生成モデルを、道具の点群のシーケンスとして学習することを提案する。新しい道具が与えられた場合、まず道具の使用軌跡を生成し、生成された軌跡に整合するように道具のポーズのシーケンスを最適化する。我々は、4つの異なる困難な変形可能物体操作タスクについて、タスクごとに1つのツールからのデモデータのみを用いて、1つのモデルを訓練する。このモデルは様々な新しいツールに一般化し、ベースラインを大幅に上回る。さらに、未知の道具を用いた実世界でのテストを行い、人間と同等の性能を達成した。追加資料はプロジェクトのウェブサイトhttps://sites.google.com/view/toolgen。

要約(オリジナル)

Autonomous systems that efficiently utilize tools can assist humans in completing many common tasks such as cooking and cleaning. However, current systems fall short of matching human-level of intelligence in terms of adapting to novel tools. Prior works based on affordance often make strong assumptions about the environments and cannot scale to more complex, contact-rich tasks. In this work, we tackle this challenge and explore how agents can learn to use previously unseen tools to manipulate deformable objects. We propose to learn a generative model of the tool-use trajectories as a sequence of tool point clouds, which generalizes to different tool shapes. Given any novel tool, we first generate a tool-use trajectory and then optimize the sequence of tool poses to align with the generated trajectory. We train a single model on four different challenging deformable object manipulation tasks, using demonstration data from only one tool per task. The model generalizes to various novel tools, significantly outperforming baselines. We further test our trained policy in the real world with unseen tools, where it achieves the performance comparable to human. Additional materials can be found on our project website: https://sites.google.com/view/toolgen.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL