Learning to Grasp Clothing Structural Regions for Garment Manipulation Tasks

要約

衣類を吊るすなどの布関連の作業を行う場合、特定の構造領域 (たとえば、シャツの袖ではなく襟) を特定して把握することが重要になることがよくあります。
しかし、布は変形しやすいため、家庭、医療、産業の状況において不可欠なこれらの操作活動は、ロボットにとって依然として困難なままです。
本稿では、吊り下げ課題を事例として、衣服の構造領域をセグメント化して把握し、マニピュレーション課題を実現する方法に焦点を当てます。
この目的を達成するために、深度画像内のシーンの残りの部分を表す領域からシャツの襟をセグメント化する、ニューラル ネットワーク ベースの認識システムが提案されています。
人間がシャツを操作してトレーニングする 10 分間のビデオを使用すると、私たちの認識システムは、質感に関係なく他のシャツや他の種類の襟付きの衣類に一般化することができます。
次に、セグメンテーションに基づいて新しい把握戦略を提案し、把握ポーズを決定します。
実験の結果、私たちが提案した掴み戦略は、折りたたまれた衣類 1 枚、しわくちゃの衣類 1 枚、しわくちゃの衣類 3 枚で、それぞれ 92\%、80\%、および 50\% の掴み成功率を達成することが実証されました。
私たちの把握戦略は、衣類の構造的性質を考慮していないテスト済みのベースラインよりもかなり優れたパフォーマンスを発揮します。
提案された領域の分割および把握戦略により、開ループ制御ポリシーを使用して、困難な衣服吊り作業が首尾よく実装されます。
補足資料は https://sites.google.com/view/garment-hanging で入手できます。

要約(オリジナル)

When performing cloth-related tasks, such as garment hanging, it is often important to identify and grasp certain structural regions — a shirt’s collar as opposed to its sleeve, for instance. However, due to cloth deformability, these manipulation activities, which are essential in domestic, health care, and industrial contexts, remain challenging for robots. In this paper, we focus on how to segment and grasp structural regions of clothes to enable manipulation tasks, using hanging tasks as case study. To this end, a neural network-based perception system is proposed to segment a shirt’s collar from areas that represent the rest of the scene in a depth image. With a 10-minute video of a human manipulating shirts to train it, our perception system is capable of generalizing to other shirts regardless of texture as well as to other types of collared garments. A novel grasping strategy is then proposed based on the segmentation to determine grasping pose. Experiments demonstrate that our proposed grasping strategy achieves 92\%, 80\%, and 50\% grasping success rates with one folded garment, one crumpled garment and three crumpled garments, respectively. Our grasping strategy performs considerably better than tested baselines that do not take into account the structural nature of the garments. With the proposed region segmentation and grasping strategy, challenging garment hanging tasks are successfully implemented using an open-loop control policy. Supplementary material is available at https://sites.google.com/view/garment-hanging

arxiv情報

提供元, 利用サービス

arxiv.jp, Google