General-purpose Clothes Manipulation with Semantic Keypoints

要約

衣服の操作は、家庭用ロボットにとって重要な能力です。
しかし、既存の方法は、多くの場合、変形可能な布の複雑な高次元のジオメトリのため、折りたたみや平坦化などの特定のタスクに限定されます。
このペーパーでは、汎用の衣服操作のためのセマンティックキーポイント（CLASP）を使用した衣服操作を紹介します。これにより、ロボットはさまざまな種類の衣服で多様な操作タスクを実行できます。
クラスプの重要なアイデアは、セマンティックキーポイント（「右肩」、「左スリーブ」など）です。
衣服のセマンティックキーポイントは、深さの画像から効果的に抽出でき、幅広い衣服操作ポリシーを表すのに十分です。
クラスプはセマンティックキーポイントをレバレッジして、2レベルの階層でLLM駆動のタスク計画と低レベルのアクション実行をブリッジします。
広範なシミュレーション実験により、CLASPは、見られたタスクと目に見えないタスクの両方で、多様な衣服タイプでベースラインメソッドを上回ることが示されています。
さらに、折りたたみ、平坦化、吊り下げ、配置の4つの異なるタスクでのKinovaデュアルアームシステムを実験して、実際のロボットでのクラスプのパフォーマンスを確認します。

要約(オリジナル)

Clothes manipulation is a critical capability for household robots; yet, existing methods are often confined to specific tasks, such as folding or flattening, due to the complex high-dimensional geometry of deformable fabric. This paper presents CLothes mAnipulation with Semantic keyPoints (CLASP) for general-purpose clothes manipulation, which enables the robot to perform diverse manipulation tasks over different types of clothes. The key idea of CLASP is semantic keypoints — e.g., ‘right shoulder’, ‘left sleeve’, etc. — a sparse spatial-semantic representation that is salient for both perception and action. Semantic keypoints of clothes can be effectively extracted from depth images and are sufficient to represent a broad range of clothes manipulation policies. CLASP leverages semantic keypoints to bridge LLM-powered task planning and low-level action execution in a two-level hierarchy. Extensive simulation experiments show that CLASP outperforms baseline methods across diverse clothes types in both seen and unseen tasks. Further, experiments with a Kinova dual-arm system on four distinct tasks — folding, flattening, hanging, and placing — confirm CLASP’s performance on a real robot.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google