GarmentLab: A Unified Simulation and Benchmark for Garment Manipulation

要約

衣服や生地の操作は、ホームアシスタント ロボットの開発において長い間重要な取り組みでした。
しかし、複雑な力学と位相構造により、衣服の操作には大きな課題が生じます。
強化学習と視覚ベースの手法における最近の成功は、衣服の操作を学習するための有望な手段を提供します。
それにもかかわらず、これらのアプローチは現在のベンチマークによって厳しく制限されており、タスクの多様性が限られており、シミュレーション動作が非現実的です。
そこで、変形可能なオブジェクトと衣服の操作のために設計された、コンテンツ豊富なベンチマークと現実的なシミュレーションである GarmentLab を紹介します。
当社のベンチマークには、さまざまな種類の衣服、ロボット システム、マニピュレーターが含まれています。
ベンチマークの豊富なタスクでは、衣服、変形可能なオブジェクト、剛体、流体、人体の間の相互作用をさらに調査します。
さらに、FEM や PBD などの複数のシミュレーション手法と、提案する sim-to-real アルゴリズムおよび現実世界のベンチマークを組み込むことで、sim-to-real のギャップを大幅に縮小することを目指しています。
これらのタスクに対する最先端のビジョン手法、強化学習、模倣学習のアプローチを評価し、現在のアルゴリズムが直面する課題、特に一般化機能の限界を浮き彫りにします。
私たちが提案したオープンソース環境と包括的な分析は、これらの方法の可能性を最大限に解き放つことによって、衣服操作の将来の研究を後押しする可能性があることを示しています。
私たちはコードをできるだけ早くオープンソース化することを保証します。
私たちの仕事の詳細については、補足ファイルのビデオをご覧ください。
私たちのプロジェクト ページは https://garmentlab.github.io/ から入手できます。

要約(オリジナル)

Manipulating garments and fabrics has long been a critical endeavor in the development of home-assistant robots. However, due to complex dynamics and topological structures, garment manipulations pose significant challenges. Recent successes in reinforcement learning and vision-based methods offer promising avenues for learning garment manipulation. Nevertheless, these approaches are severely constrained by current benchmarks, which offer limited diversity of tasks and unrealistic simulation behavior. Therefore, we present GarmentLab, a content-rich benchmark and realistic simulation designed for deformable object and garment manipulation. Our benchmark encompasses a diverse range of garment types, robotic systems and manipulators. The abundant tasks in the benchmark further explores of the interactions between garments, deformable objects, rigid bodies, fluids, and human body. Moreover, by incorporating multiple simulation methods such as FEM and PBD, along with our proposed sim-to-real algorithms and real-world benchmark, we aim to significantly narrow the sim-to-real gap. We evaluate state-of-the-art vision methods, reinforcement learning, and imitation learning approaches on these tasks, highlighting the challenges faced by current algorithms, notably their limited generalization capabilities. Our proposed open-source environments and comprehensive analysis show promising boost to future research in garment manipulation by unlocking the full potential of these methods. We guarantee that we will open-source our code as soon as possible. You can watch the videos in supplementary files to learn more about the details of our work. Our project page is available at: https://garmentlab.github.io/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google