BiFold: Bimanual Cloth Folding with Language Guidance

要約

布の折りたたみは、衣服の避けられない自己閉鎖、複雑なダイナミクス、衣服が持つことができる異なる素材、幾何学、テクスチャーのために、複雑な作業です。
この作業では、テキストコマンドに条件付けられた折り畳みアクションを学びます。
高レベルの抽象的な指示を正確なロボットアクションに変換するには、洗練された言語の理解と操作能力が必要です。
そのために、事前に訓練されたビジョン言語モデルを活用し、それを再利用して操作アクションを予測します。
私たちのモデルであるBifoldは、コンテキストを考慮し、既存の言語条件付きの折りたたみ式ベンチマークで最先端のパフォーマンスを実現できます。
注釈付きの両折りたがらの折りたたみデータがないことを考えると、シミュレートされたデータセットのアクションを自動的に解析し、アラインドされたテキスト命令でタグ付けする手順を考案します。
Bifoldはデータセットで最高のパフォーマンスを達成し、新しい指示、衣服、環境に転送できます。

要約(オリジナル)

Cloth folding is a complex task due to the inevitable self-occlusions of clothes, their complicated dynamics, and the disparate materials, geometries, and textures that garments can have. In this work, we learn folding actions conditioned on text commands. Translating high-level, abstract instructions into precise robotic actions requires sophisticated language understanding and manipulation capabilities. To do that, we leverage a pre-trained vision-language model and repurpose it to predict manipulation actions. Our model, BiFold, can take context into account and achieves state-of-the-art performance on an existing language-conditioned folding benchmark. Given the lack of annotated bimanual folding data, we devise a procedure to automatically parse actions of a simulated dataset and tag them with aligned text instructions. BiFold attains the best performance on our dataset and can transfer to new instructions, garments, and environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google