MetaFold: Language-Guided Multi-Category Garment Folding Framework via Trajectory Generation and Foundation Model

要約

衣服の折り畳みは、ロボット操作において一般的でありながらやりがいのある作業です。
衣服の変形性は、広大な状態空間と複雑なダイナミクスにつながり、正確できめの細かい操作を複雑にします。
以前のアプローチは、多くの場合、事前に定義されたキーポイントまたはデモンストレーションに依存しており、多様な衣服のカテゴリ全体でそれらの一般化を制限しています。
このホワイトペーパーでは、アクション予測からタスク計画を解き放ち、モデルの一般化を強化するためにそれぞれを独立して学習するフレームワーク、メタフォールドを紹介します。
タスク計画には言語誘導ポイントクラウド軌道生成と、アクション予測のための低レベルの基礎モデルを採用しています。
この構造は、マルチカテゴリ学習を促進し、モデルがさまざまなユーザーの指示や折りたたみ式タスクに柔軟に適応できるようにします。
実験結果は、提案されたフレームワークの優位性を示しています。
補足資料は、当社のウェブサイトhttps：//meta-fold.github.io/で入手できます。

要約(オリジナル)

Garment folding is a common yet challenging task in robotic manipulation. The deformability of garments leads to a vast state space and complex dynamics, which complicates precise and fine-grained manipulation. Previous approaches often rely on predefined key points or demonstrations, limiting their generalization across diverse garment categories. This paper presents a framework, MetaFold, that disentangles task planning from action prediction, learning each independently to enhance model generalization. It employs language-guided point cloud trajectory generation for task planning and a low-level foundation model for action prediction. This structure facilitates multi-category learning, enabling the model to adapt flexibly to various user instructions and folding tasks. Experimental results demonstrate the superiority of our proposed framework. Supplementary materials are available on our website: https://meta-fold.github.io/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google