GarmentPile: Point-Level Visual Affordance Guided Retrieval and Adaptation for Cluttered Garments Manipulation

要約

散らかった衣服の操作は、衣服の複雑で変形可能な性質と複雑な衣服関係のために大きな課題をもたらします。
単一のガリメント操作とは異なり、散らかったシナリオでは、衣服の清潔さと操作の安定性を維持しながら、複雑な衣服の絡み合いと相互作用を管理する必要があります。
これらの要求に対処するために、衣服の幾何学、構造、およびオブジェクト間関係を認識しながら、複雑な空間とマルチモーダル操作候補をモデル化する密な表現、密な表現を学ぶことを提案します。
さらに、いくつかの非常に絡み合ったクラッターで衣服を直接回収することは困難であるため、学んだアフォーダンスに導かれた適応モジュールを導入し、操作に妥当な高度に装飾された衣服を再編成します。
私たちのフレームワークは、シミュレーションと現実世界の両方で、多様な衣服の種類とパイル構成を特徴とする環境にわたる有効性を示しています。
プロジェクトページ：https：//garmentpile.github.io/。

要約(オリジナル)

Cluttered garments manipulation poses significant challenges due to the complex, deformable nature of garments and intricate garment relations. Unlike single-garment manipulation, cluttered scenarios require managing complex garment entanglements and interactions, while maintaining garment cleanliness and manipulation stability. To address these demands, we propose to learn point-level affordance, the dense representation modeling the complex space and multi-modal manipulation candidates, while being aware of garment geometry, structure, and inter-object relations. Additionally, as it is difficult to directly retrieve a garment in some extremely entangled clutters, we introduce an adaptation module, guided by learned affordance, to reorganize highly-entangled garments into states plausible for manipulation. Our framework demonstrates effectiveness over environments featuring diverse garment types and pile configurations in both simulation and the real world. Project page: https://garmentpile.github.io/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google