Learning Keypoints for Robotic Cloth Manipulation using Synthetic Data

要約

支援ロボットは、衣類を洗濯したり、畳んだり、アイロンをかけたりすることができるはずである。しかし、衣服は多様で、変形しやすく、自己閉塞性があるため、衣服操作のための汎用ロボットシステムを作ることは困難である。合成データは汎化性を向上させる有望な方向性であるが、その有用性はしばしばシム-リアルギャップによって制限される。我々は、布操作のための合成データの利用を促進し、ロボット折り畳みなどのタスクを可能にするために、ほぼ平坦化された布アイテムのキーポイント検出器を学習する合成データパイプラインを提示する。その性能をテストするために、実世界のデータセットも収集した。Tシャツ、タオル、短パンの検出器を訓練し、平均64.3%の精度を得る。実世界のデータでファインチューニングを行うと、性能は74.2%に向上する。さらに、キーポイント検出器の様々な故障モードについて議論し、布メッシュと素材を得るための様々なアプローチを比較することにより、さらなる洞察を提供する。また、残っているシミュレーションとリアルのギャップを定量化し、このギャップをさらに縮小するためには、布アセットの忠実度をさらに改善する必要があることを主張する。コード、データセット、学習済みモデルはオンラインで入手可能です。

要約(オリジナル)

Assistive robots should be able to wash, fold or iron clothes. However, due to the variety, deformability and self-occlusions of clothes, creating general-purpose robot systems for cloth manipulation is challenging. Synthetic data is a promising direction to improve generalization, though its usability is often limited by the sim-to-real gap. To advance the use of synthetic data for cloth manipulation and to enable tasks such as robotic folding, we present a synthetic data pipeline to train keypoint detectors for almost flattened cloth items. To test its performance, we have also collected a real-world dataset. We train detectors for both T-shirts, towels and shorts and obtain an average precision of 64.3%. Fine-tuning on real-world data improves performance to 74.2%. Additional insight is provided by discussing various failure modes of the keypoint detectors and by comparing different approaches to obtain cloth meshes and materials. We also quantify the remaining sim-to-real gap and argue that further improvements to the fidelity of cloth assets will be required to further reduce this gap. The code, dataset and trained models are available online.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL