TRTM: Template-based Reconstruction and Target-oriented Manipulation of Crumpled Cloths

要約

しわになった布の正確な再構築と操作は、布モデルの次元が高いことと、自己閉塞領域での観察が限られているため、困難です。
私たちは、単一ビューの人間の再構成の分野における最近の進歩を利用して、私たちが提案するシムリアルレジストレーションプロトコルを使用して、上面の深度観察のみからしわくちゃの布をテンプレートベースで再構成します。
以前の暗黙的な布表現とは対照的に、私たちの再構築メッシュは布メッシュ頂点全体の位置と可視性を明示的に記述し、より効率的なデュアルアームおよびシングルアームのターゲット指向の操作を可能にします。
実験により、当社の TRTM システムは、テンプレート メッシュと同様のトポロジーを持つが、形状、サイズ、パターン、物理的特性が異なる日常着に適用できることが実証されています。
ビデオ、データセット、事前トレーニング済みモデル、コードは、プロジェクト Web サイト (https://wenbwa.github.io/TRTM/) からダウンロードできます。

要約(オリジナル)

Precise reconstruction and manipulation of the crumpled cloths is challenging due to the high dimensionality of cloth models, as well as the limited observation at self-occluded regions. We leverage the recent progress in the field of single-view human reconstruction to template-based reconstruct crumpled cloths from their top-view depth observations only, with our proposed sim-real registration protocols. In contrast to previous implicit cloth representations, our reconstruction mesh explicitly describes the positions and visibilities of the entire cloth mesh vertices, enabling more efficient dual-arm and single-arm target-oriented manipulations. Experiments demonstrate that our TRTM system can be applied to daily cloths that have similar topologies as our template mesh, but with different shapes, sizes, patterns, and physical properties. Videos, datasets, pre-trained models, and code can be downloaded from our project website: https://wenbwa.github.io/TRTM/ .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google