TRTM: Template-based Reconstruction and Target-oriented Manipulation of Crumpled Cloths

要約

しわになった布地を正確に再構築して操作することは、布地モデルの次元が高いことと、自己閉塞領域での観察が限られているため、困難です。
私たちは、単一ビューの人体再構成の分野における最近の進歩を活用し、提案したシムリアルレジストレーションプロトコルを使用して、上面からの深度観察のみからしわくちゃの布をテンプレートベースで再構成します。
以前の暗黙的な布表現とは対照的に、私たちの再構築メッシュは布メッシュ頂点全体の位置と可視性を明示的に示し、より効率的なデュアルアームおよびシングルアームのターゲット指向の操作を可能にします。
実験では、テンプレート ベースの再構成およびターゲット指向操作 (TRTM) システムが、テンプレート メッシュと同様のトポロジーを持つ日常着に適用できるが、形状、サイズ、パターン、物理的特性が異なることが実証されています。
ビデオ、データセット、事前トレーニング済みモデル、コードは、プロジェクト Web サイト (https://wenbwa.github.io/TRTM/) からダウンロードできます。

要約(オリジナル)

Precisely reconstructing and manipulating crumpled cloths is challenging due to the high dimensionality of the cloth model, as well as the limited observation at self-occluded regions. We leverage the recent progress in the field of single-view human body reconstruction to template-based reconstruct the crumpled cloths from their top-view depth observations only, with our proposed sim-real registration protocols. In contrast to previous implicit cloth representations, our reconstruction mesh explicitly indicates the positions and visibilities of the entire cloth mesh vertices, enabling more efficient dual-arm and single-arm target-oriented manipulations. Experiments demonstrate that our template-based reconstruction and target-oriented manipulation (TRTM) system can be applied to daily cloths with similar topologies as our template mesh, but have different shapes, sizes, patterns, and physical properties. Videos, datasets, pre-trained models, and code can be downloaded from our project website: https://wenbwa.github.io/TRTM/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google