GarmentTracking: Category-Level Garment Pose Tracking

要約

衣服は人間にとって重要です。
衣服のポーズ全体を推定して追跡できるビジュアル システムは、多くのダウンストリーム タスクや実際のアプリケーションに役立ちます。
この作業では、カテゴリ レベルの衣服ポーズ追跡タスクに対処するための完全なパッケージを提示します。(1) ユーザーが VR インターフェイスを介してシミュレーションで仮想衣服モデルを操作できる記録システム VR-Garment。
(2) 大規模なデータセット VR-Folding。平らにしたり折りたたんだりするなど、複雑な衣服のポーズ構成を操作します。
(3) エンド ツー エンドのオンライン トラッキング フレームワーク GarmentTracking は、ポイント クラウド シーケンスが与えられた場合に正規空間とタスク空間の両方で完全な衣服のポーズを予測します。
広範な実験により、提案された GarmentTracking は、衣服に大きな非剛性変形がある場合でも優れたパフォーマンスを発揮することが実証されています。
速度と精度の両方で、ベースライン アプローチよりも優れています。
提案されたソリューションが、将来の研究のプラットフォームとして役立つことを願っています。
コードとデータセットは https://garment-tracking.robotflow.ai で入手できます。

要約(オリジナル)

Garments are important to humans. A visual system that can estimate and track the complete garment pose can be useful for many downstream tasks and real-world applications. In this work, we present a complete package to address the category-level garment pose tracking task: (1) A recording system VR-Garment, with which users can manipulate virtual garment models in simulation through a VR interface. (2) A large-scale dataset VR-Folding, with complex garment pose configurations in manipulation like flattening and folding. (3) An end-to-end online tracking framework GarmentTracking, which predicts complete garment pose both in canonical space and task space given a point cloud sequence. Extensive experiments demonstrate that the proposed GarmentTracking achieves great performance even when the garment has large non-rigid deformation. It outperforms the baseline approach on both speed and accuracy. We hope our proposed solution can serve as a platform for future research. Codes and datasets are available in https://garment-tracking.robotflow.ai.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google