Learning Generalizable Language-Conditioned Cloth Manipulation from Long Demonstrations

要約

マルチステップの布操作は、高次元の状態空間と布のダイナミクスによるロボットにとって困難な問題です。
マルチステップ布操作スキルのエンドツーエンドの模倣学習の最近の重要な進歩にもかかわらず、これらの方法は目に見えないタスクに一般化することができません。
一般化可能なマルチステップ布の操作の課題に取り組む際の私たちの洞察は分解です。
私たちは、長いデモンストレーションから基本的なスキルを自律的に学習し、不可能なタスクに一般化するための基本的なスキルを学んだ基本的なスキルを自律的に学習する新しいパイプラインを提案します。
具体的には、私たちの方法は、最初に、既存の長いデモンストレーションベンチマークから、大規模な言語モデル（LLM）の常識的な知識を持つ基本的なスキルを発見し、学習します。
次に、高レベルのLLMベースのタスクプランナーを活用して、これらの基本的なスキルは、目に見えないタスクを完了するために構成できます。
実験結果は、私たちの方法が、見られたタスクと目に見えないタスクの両方でマルチステップ布操作スキルを学習する際のベースライン方法よりも優れていることを示しています。

要約(オリジナル)

Multi-step cloth manipulation is a challenging problem for robots due to the high-dimensional state spaces and the dynamics of cloth. Despite recent significant advances in end-to-end imitation learning for multi-step cloth manipulation skills, these methods fail to generalize to unseen tasks. Our insight in tackling the challenge of generalizable multi-step cloth manipulation is decomposition. We propose a novel pipeline that autonomously learns basic skills from long demonstrations and composes learned basic skills to generalize to unseen tasks. Specifically, our method first discovers and learns basic skills from the existing long demonstration benchmark with the commonsense knowledge of a large language model (LLM). Then, leveraging a high-level LLM-based task planner, these basic skills can be composed to complete unseen tasks. Experimental results demonstrate that our method outperforms baseline methods in learning multi-step cloth manipulation skills for both seen and unseen tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google