GPT-Fabric: Folding and Smoothing Fabric by Leveraging Pre-Trained Foundation Models

要約

生地の加工には、ブランケットの折り畳み、患者の衣類の取り扱い、カバーによる物品の保護などの用途があります。
布地は無限次元の構成空間と複雑な力学を持ち、重度の自己閉塞を伴う折り畳まれたりしわくちゃになったりする可能性があるため、ロボットが布地の操作を実行することは困難です。
ロボットによるファブリック操作に関するこれまでの研究は、高度に設計されたセットアップか、ロボットとファブリックの相互作用データを作成してトレーニングする学習ベースのアプローチのいずれかに依存していました。
この論文では、布地の折り畳みとスムージングの標準タスク用に GPT-Fabric を提案します。GPT は、布地を掴んで引っ張る場所をロボットに知らせるアクションを直接出力します。
私たちはシミュレーションで広範な実験を行い、折り曲げとスムージングに関する従来の最先端の方法に対して GPT-Fabric をテストします。
ファブリック固有のデータセットで明示的にトレーニング (つまり、ゼロショット操作) を行わなくても、ほとんどの方法と同等以上のパフォーマンスが得られます。
さらに、12 回のフォールディングと 10 回のスムージング ロールアウトにわたる物理実験に GPT ファブリックを適用します。
私たちの結果は、GPT-Fabric が高精度のファブリック操作タスクに対する有望なアプローチであることを示唆しています。

要約(オリジナル)

Fabric manipulation has applications in folding blankets, handling patient clothing, and protecting items with covers. It is challenging for robots to perform fabric manipulation since fabrics have infinite-dimensional configuration spaces, complex dynamics, and may be in folded or crumpled configurations with severe self-occlusions. Prior work on robotic fabric manipulation relies either on heavily engineered setups or learning-based approaches that create and train on robot-fabric interaction data. In this paper, we propose GPT-Fabric for the canonical tasks of fabric folding and smoothing, where GPT directly outputs an action informing a robot where to grasp and pull a fabric. We perform extensive experiments in simulation to test GPT-Fabric against prior state of the art methods for folding and smoothing. We obtain comparable or better performance to most methods even without explicitly training on a fabric-specific dataset (i.e., zero-shot manipulation). Furthermore, we apply GPT-Fabric in physical experiments over 12 folding and 10 smoothing rollouts. Our results suggest that GPT-Fabric is a promising approach for high-precision fabric manipulation tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google