DexGarmentLab: Dexterous Garment Manipulation Environment with Generalizable Policy

要約

衣服の操作は、衣服のカテゴリ、幾何学、変形の多様性のために重大な課題です。
それにもかかわらず、私たちの手の器用さのおかげで、人間は衣服を楽に扱うことができます。
しかし、この分野での既存の研究は、このレベルの器用さを再現するのに苦労しており、主に器用な衣服操作の現実的なシミュレーションの欠如によって妨げられています。
したがって、15のタスクシナリオ用の大規模な高品質の3Dアセットを特徴とする、器用な（特に両手）衣服操作用に特別に設計された最初の環境であるDexgarmentLabを提案し、SIM-Realギャップを減らすために衣服モデリングに合わせたシミュレーション技術を改良します。
以前のデータ収集は、通常、労働集約的で非効率的なテレオ操作またはトレーニング専門家の強化学習（RL）ポリシーに依存しています。
この論文では、衣服の構造対応を活用して、単一の専門家デモのみを使用して、多様な軌跡を備えたデータセットを自動的に生成し、手動介入を大幅に削減します。
ただし、広範なデモでさえ、衣服の無限の状態をカバーすることはできません。これにより、新しいアルゴリズムの探索が必要です。
多様な衣服の形状と変形全体の一般化を改善するために、階層的な衣服操作ポリシー（HALO）を提案します。
まず、転送可能なアフォーダンスポイントを識別して、操作領域を正確に見つけ、次に一般化可能な軌跡を生成してタスクを完了します。
私たちの方法とベースラインの広範な実験と詳細な分析を通じて、Haloは既存の方法を一貫して上回ることを実証し、他の人が失敗する形状と変形の大幅なバリエーションでさえ、以前に見えなかったインスタンスに成功裏に一般化することを実証します。
プロジェクトページは、https：//wayrise.github.io/dexgarmentlab/で入手できます。

要約(オリジナル)

Garment manipulation is a critical challenge due to the diversity in garment categories, geometries, and deformations. Despite this, humans can effortlessly handle garments, thanks to the dexterity of our hands. However, existing research in the field has struggled to replicate this level of dexterity, primarily hindered by the lack of realistic simulations of dexterous garment manipulation. Therefore, we propose DexGarmentLab, the first environment specifically designed for dexterous (especially bimanual) garment manipulation, which features large-scale high-quality 3D assets for 15 task scenarios, and refines simulation techniques tailored for garment modeling to reduce the sim-to-real gap. Previous data collection typically relies on teleoperation or training expert reinforcement learning (RL) policies, which are labor-intensive and inefficient. In this paper, we leverage garment structural correspondence to automatically generate a dataset with diverse trajectories using only a single expert demonstration, significantly reducing manual intervention. However, even extensive demonstrations cannot cover the infinite states of garments, which necessitates the exploration of new algorithms. To improve generalization across diverse garment shapes and deformations, we propose a Hierarchical gArment-manipuLation pOlicy (HALO). It first identifies transferable affordance points to accurately locate the manipulation area, then generates generalizable trajectories to complete the task. Through extensive experiments and detailed analysis of our method and baseline, we demonstrate that HALO consistently outperforms existing methods, successfully generalizing to previously unseen instances even with significant variations in shape and deformation where others fail. Our project page is available at: https://wayrise.github.io/DexGarmentLab/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google