FoldNet: Learning Generalizable Closed-Loop Policy for Garment Folding via Keypoint-Driven Asset and Demonstration Synthesis

要約

衣服の変形性により、ロボット衣服操作タスクのために大量の高品質データを生成することは非常に困難です。
この論文では、ロボット衣服の折りたたみに使用できる合成衣服データセットを紹介します。
キーポイントに基づいて幾何学的な衣服テンプレートを構築し、生成モデルを適用して現実的なテクスチャパターンを生成することから始めます。
これらのキーポイントアノテーションを活用して、閉ループ模倣学習を通じて、シミュレーションおよびトレーニング折りたたみポリシーの折りたたみデモを生成します。
堅牢性を向上させるために、キーポイントベースの戦略を使用して障害から回復するためのデモデータを生成するKG-Daggerを提案します。
KG-Daggerはモデルのパフォーマンスを大幅に改善し、実際の成功率を25％増加させます。
15kの軌跡（約2mの画像アクションペア）でトレーニングした後、モデルは現実世界で75％の成功率を達成します。
シミュレーションと現実世界の両方の設定での実験により、提案されたフレームワークの有効性が検証されます。

要約(オリジナル)

Due to the deformability of garments, generating a large amount of high-quality data for robotic garment manipulation tasks is highly challenging. In this paper, we present a synthetic garment dataset that can be used for robotic garment folding. We begin by constructing geometric garment templates based on keypoints and applying generative models to generate realistic texture patterns. Leveraging these keypoint annotations, we generate folding demonstrations in simulation and train folding policies via closed-loop imitation learning. To improve robustness, we propose KG-DAgger, which uses a keypoint-based strategy to generate demonstration data for recovering from failures. KG-DAgger significantly improves the model performance, boosting the real-world success rate by 25\%. After training with 15K trajectories (about 2M image-action pairs), the model achieves a 75\% success rate in the real world. Experiments in both simulation and real-world settings validate the effectiveness of our proposed framework.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google