General-purpose Clothes Manipulation with Semantic Keypoints

要約

タスク固有の衣服操作については最近の進歩が見られますが、一般化可能な衣服操作は依然として課題です。
衣服の操作には連続したアクションが必要なため、目に見えないタスクを一般化するのは困難です。
さらに、一般的な衣服状態の表現方法も重要です。
この論文では、衣服操作タスクを指定および分解するための言語命令を採用し、一般化を強化するための大規模言語モデルに基づく階層学習方法を提案します。
状態の表現では、セマンティック キーポイントを使用して衣服のジオメトリをキャプチャし、その操作方法の概要を説明します。
シミュレーション実験の結果、衣服操作タスクの成功率と一般化の点で、提案された方法がベースライン方法よりも優れていることが示されました。

要約(オリジナル)

We have seen much recent progress in task-specific clothes manipulation, but generalizable clothes manipulation is still a challenge. Clothes manipulation requires sequential actions, making it challenging to generalize to unseen tasks. Besides, a general clothes state representation method is crucial. In this paper, we adopt language instructions to specify and decompose clothes manipulation tasks, and propose a large language model based hierarchical learning method to enhance generalization. For state representation, we use semantic keypoints to capture the geometry of clothes and outline their manipulation methods. Simulation experiments show that the proposed method outperforms the baseline method in terms of success rate and generalization for clothes manipulation tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google