CloSET: Modeling Clothed Humans on Continuous Surface with Explicit Template Decomposition

要約

タイトル：CloSET：明示的なテンプレート分解で連続面上の衣服をモデル化する

要約：

– 静止画像スキャンからアニメーション可能なアバターを作成するには、異なるポーズでの衣服変形をモデル化する必要がある。
– 既存の学習ベースのメソッドでは、最小限の衣服メッシュテンプレートまたは学習された暗黙的テンプレートにポーズ依存の変形を追加するが、詳細を捉えることができなかったり、エンド・トゥ・エンドの学習を妨げるため、制限がある。
– この論文では、ポイントベースのソリューションを再検討し、明示的な衣服に関連するテンプレートを分解し、その後、ポーズに依存したしわを追加することを提案している。これにより、衣服の変形が分離されるため、ポーズに依存したしわをより良く学習し、未知のポーズに適用することができる。
– さらに、最近の最新ポイントベースの方法におけるシームアーティファクトの問題に対処するために、ボディ表面上でポイントの特徴を学習することを提案しており、微細なポーズ依存の衣服ジオメトリーを捉えるための連続かつコンパクトな特徴空間を確立する。
– この分野の研究を促進するために、現実世界の衣服を着た人間の高品質なスキャンデータセットを紹介している。
– 提案手法は、既存の2つのデータセットと新たに導入されたデータセットで検証され、未知のポーズにおける衣服変形の結果が改善されたことを示している。
– プロジェクトページ（https://www.liuyebin.com/closet）でコードとデータセットを見つけることができる。

要約(オリジナル)

Creating animatable avatars from static scans requires the modeling of clothing deformations in different poses. Existing learning-based methods typically add pose-dependent deformations upon a minimally-clothed mesh template or a learned implicit template, which have limitations in capturing details or hinder end-to-end learning. In this paper, we revisit point-based solutions and propose to decompose explicit garment-related templates and then add pose-dependent wrinkles to them. In this way, the clothing deformations are disentangled such that the pose-dependent wrinkles can be better learned and applied to unseen poses. Additionally, to tackle the seam artifact issues in recent state-of-the-art point-based methods, we propose to learn point features on a body surface, which establishes a continuous and compact feature space to capture the fine-grained and pose-dependent clothing geometry. To facilitate the research in this field, we also introduce a high-quality scan dataset of humans in real-world clothing. Our approach is validated on two existing datasets and our newly introduced dataset, showing better clothing deformation results in unseen poses. The project page with code and dataset can be found at https://www.liuyebin.com/closet.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI