General-purpose Clothes Manipulation with Semantic Keypoints

要約

衣服の操作は家庭用ロボットにとって重要なスキルです。
最近の進歩は、折りたたむ、平らにする、吊るすなどのタスク固有の衣服の操作です。
しかし、衣服の複雑な形状と変形可能性のため、多様な衣服をさまざまな方法で操作できる汎用ロボット システムを作成することは依然として困難です。
通常、衣服は特定の構造でデザインされているため、「左袖」などの特定の特徴を意味論的なキーポイントとして識別することを提案します。
セマンティック キーポイントは、タスク計画のためのセマンティック キューと、低レベルのアクション生成のための幾何学的な手がかりを提供できます。
この洞察に基づいて、汎用 CLothes mAnipulation with Semantic keyPoints (CLASP) 用の大規模言語モデル (LLM) を使用した階層型学習フレームワークを開発します。
広範なシミュレーション実験により、CLASP はさまざまな衣服操作タスクにわたって、目に見えるタスクと目に見えないタスクの両方でベースライン手法よりも優れたパフォーマンスを発揮することが示されています。
現実世界の実験では、CLASP を現実世界に直接展開し、さまざまな衣服に適用できることが示されています。

要約(オリジナル)

Clothes manipulation is a critical skill for household robots. Recent advancements have been made in task-specific clothes manipulation, such as folding, flattening, and hanging. However, due to clothes’ complex geometries and deformability, creating a general-purpose robot system that can manipulate a diverse range of clothes in many ways remains challenging. Since clothes are typically designed with specific structures, we propose identifying these specific features like “left sleeve” as semantic keypoints. Semantic keypoints can provide semantic cues for task planning and geometric cues for low-level action generation. With this insight, we develop a hierarchical learning framework using the large language model (LLM) for general-purpose CLothes mAnipulation with Semantic keyPoints (CLASP). Extensive simulation experiments show that CLASP outperforms baseline methods on both seen and unseen tasks across various clothes manipulation tasks. Real-world experiments show that CLASP can be directly deployed in the real world and applied to a wide variety of clothes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google