Learning Generalizable Tool-use Skills through Trajectory Generation

要約

ツールを効率的に利用する自律システムは、人間が調理や掃除などの多くの一般的なタスクを完了するのを支援できます。
しかし、現在のシステムは、新しいツールに適応するという点で人間レベルの知能に達していません。
アフォーダンスに基づいたこれまでの研究では、環境について強い仮定を置くことが多く、より複雑で接触の多いタスクに拡張することができません。
この研究では、私たちはこの課題に取り組み、エージェントが変形可能なオブジェクトを操作するためにこれまで見たことのないツールの使い方をどのように学習できるかを調査します。
我々は、さまざまな工具形状に一般化する一連の工具点群として工具使用軌跡の生成モデルを学習することを提案します。
新しいツールが与えられた場合、まずツール使用軌道を生成し、次に生成された軌道に合わせてツールのポーズのシーケンスを最適化します。
タスクごとに 1 つのツールのみからのデモンストレーション データを使用して、4 つの異なる困難な変形可能オブジェクト操作タスクで単一のモデルをトレーニングします。
このモデルはさまざまな新しいツールに一般化されており、ベースラインを大幅に上回っています。
訓練されたポリシーを、目に見えないツールを使用して現実世界でさらにテストし、人間と同等のパフォーマンスを達成します。
追加の資料は、プロジェクト Web サイト https://sites.google.com/view/toolgen でご覧いただけます。

要約(オリジナル)

Autonomous systems that efficiently utilize tools can assist humans in completing many common tasks such as cooking and cleaning. However, current systems fall short of matching human-level of intelligence in terms of adapting to novel tools. Prior works based on affordance often make strong assumptions about the environments and cannot scale to more complex, contact-rich tasks. In this work, we tackle this challenge and explore how agents can learn to use previously unseen tools to manipulate deformable objects. We propose to learn a generative model of the tool-use trajectories as a sequence of tool point clouds, which generalizes to different tool shapes. Given any novel tool, we first generate a tool-use trajectory and then optimize the sequence of tool poses to align with the generated trajectory. We train a single model on four different challenging deformable object manipulation tasks, using demonstration data from only one tool per task. The model generalizes to various novel tools, significantly outperforming baselines. We further test our trained policy in the real world with unseen tools, where it achieves the performance comparable to human. Additional materials can be found on our project website: https://sites.google.com/view/toolgen.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google