GARField: Addressing the visual Sim-to-Real gap in garment manipulation with mesh-attached radiance fields

要約

人間は衣服やその他の繊維製品を直感的に迅速かつ正確に操作しますが、ロボットにとってこれは大きな課題です。
人間のパフォーマンスにとって重要な要素は、操作意図の意図された結果をアプリオリに想像し、衣服のポーズの予測を立てる能力です。
この能力により、私たちは非常に妨害された状態から計画を立て、より多くの情報を収集しながら計画を適応させ、予期せぬ状況に迅速に対応することができます。
逆に、ロボットはそのような直感を確立し、計画と観察の間に緊密なつながりを形成するのに苦労しています。
これは、繊維加工用の高密度にラベル付けされたデータを取得するのに、質と量の両方でコストがかかることが部分的に原因であると考えられます。
データ収集の問題は、衣類の加工に対するデータに基づくアプローチにおける長年の課題です。
現在のところ、高品質でラベル付きの衣類操作データの生成は、主に、現実世界の観察から簡素化された状態推定を作成する高度なデータ取得手順を通じて試みられています。
しかし、この研究では、オブジェクトの状態から現実世界の観察を生成することで、この問題に対する新しいアプローチを提案しています。
これを達成するために、三角形メッシュとして保存されたシミュレートされた状態からデータを生成するための、私たちの知る限り初の微分可能なレンダリング アーキテクチャである GARField (Garment Attached Radiance Field) を紹介します。
コードは https://ddonatien.github.io/garfield-website/ で入手できます。

要約(オリジナル)

While humans intuitively manipulate garments and other textile items swiftly and accurately, it is a significant challenge for robots. A factor crucial to human performance is the ability to imagine, a priori, the intended result of the manipulation intents and hence develop predictions on the garment pose. That ability allows us to plan from highly obstructed states, adapt our plans as we collect more information and react swiftly to unforeseen circumstances. Conversely, robots struggle to establish such intuitions and form tight links between plans and observations. We can partly attribute this to the high cost of obtaining densely labelled data for textile manipulation, both in quality and quantity. The problem of data collection is a long-standing issue in data-based approaches to garment manipulation. As of today, generating high-quality and labelled garment manipulation data is mainly attempted through advanced data capture procedures that create simplified state estimations from real-world observations. However, this work proposes a novel approach to the problem by generating real-world observations from object states. To achieve this, we present GARField (Garment Attached Radiance Field), the first differentiable rendering architecture, to our knowledge, for data generation from simulated states stored as triangle meshes. Code is available on https://ddonatien.github.io/garfield-website/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google