GARField: Addressing the visual Sim-to-Real gap in garment manipulation with mesh-attached radiance fields

要約

人間は直感的に衣服やその他の繊維製品を迅速かつ正確に操作しますが、ロボットにとってこれは大きな課題です。
人間のパフォーマンスにとって重要な要素は、操作意図の意図された結果をアプリオリに想像し、衣服のポーズの予測を立てる能力です。
これにより、非常に障害のある状態から計画を立て、より多くの情報を収集しながら計画を調整し、予期せぬ状況に迅速に対応することができます。
一方、ロボットは、そのような直観を確立し、計画と観察の間に緊密なつながりを形成するのに苦労しています。
これは、繊維加工用の高密度にラベル付けされたデータを取得するのに質と量の両方でコストがかかることが部分的に原因であると考えられます。
データ収集の問題は、衣類の加工に対するデータに基づくアプローチにおける長年の課題です。
現在、高品質でラベル付きの衣類操作データの生成は、主に、現実世界の観察から簡素化された状態推定を作成する高度なデータ取得手順を通じて試みられています。
ただし、この研究では、与えられたオブジェクトの状態から現実世界の観測値を生成することを提案します。
これを達成するために、三角形メッシュとして保存されたシミュレートされた状態からデータを生成できる微分可能なレンダリング アーキテクチャである GARField (Garment Attached Radiance Field) を提案します。
コードは https://ddonatien.github.io/garfield-website/ で入手できます。

要約(オリジナル)

While humans intuitively manipulate garments and other textiles items swiftly and accurately, it is a significant challenge for robots. A factor crucial to the human performance is the ability to imagine, a priori, the intended result of the manipulation intents and hence develop predictions on the garment pose. This allows us to plan from highly obstructed states, adapt our plans as we collect more information and react swiftly to unforeseen circumstances. Robots, on the other hand, struggle to establish such intuitions and form tight links between plans and observations. This can be attributed in part to the high cost of obtaining densely labelled data for textile manipulation, both in quality and quantity. The problem of data collection is a long standing issue in data-based approaches to garment manipulation. Currently, the generation of high quality and labelled garment manipulation data is mainly attempted through advanced data capture procedures that create simplified state estimations from real-world observations. In this work, however, we propose to generate real-world observations from given object states. To achieve this, we present GARField (Garment Attached Radiance Field) a differentiable rendering architecture allowing data generation from simulated states stored as triangle meshes. Code will be available on https://ddonatien.github.io/garfield-website/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google