Neural Point-based Shape Modeling of Humans in Challenging Clothing

要約

SMPL のようなパラメトリック 3D ボディ モデルは、最小限の衣服を着た人々のみを表し、メッシュ トポロジと解像度が固定されているため、衣服に拡張するのは困難です。
これらの制限に対処するために、最近の研究では暗黙的なサーフェスまたは点群を使用して服を着た体をモデル化しています。
トポロジーに制限されるわけではありませんが、そのような方法は、スカートやドレスなど、身体から大きく逸脱した衣類をモデル化するのに依然として苦労しています。
これは、服を着たサーフェスを参照シェイプに再配置することで正規化するボディに依存しているためです。
残念ながら、衣服が体から離れている場合、このプロセスは十分に定義されていません.
さらに、リニア ブレンド スキニングを使用してボディのポーズを設定し、スキニング ウェイトは下にあるボディ パーツに関連付けられています。
対照的に、正規化せずにローカル座標空間で衣服の変形をモデル化します。
また、スキニング ウェイトを緩和して、複数のボディ パーツがサーフェスに影響を与えるようにします。
具体的には、ポイントベースの方法を粗いステージで拡張します。これは、正規化を学習したポーズに依存しない「粗い形状」に置き換えます。これにより、スカートなどの衣類の粗い表面形状をキャプチャできます。
次に、粗い表現から線形ブレンド スキニング ウェイトとポーズ依存の変位を推測するネットワークを使用して、これを改良します。
このアプローチは、身体に適合する衣服と身体から逸脱する衣服に適しています。
例から個人固有のアバターを学習することで、アプローチの有用性を実証し、新しいポーズやモーションでアニメーション化する方法を示します。
また、データが欠落している生のスキャンからこの方法が直接学習できることも示しており、現実的なアバターを作成するプロセスが大幅に簡素化されます。
コードは {\small\url{https://qianlim.github.io/SkiRT}} で研究目的で利用できます。

要約(オリジナル)

Parametric 3D body models like SMPL only represent minimally-clothed people and are hard to extend to clothing because they have a fixed mesh topology and resolution. To address these limitations, recent work uses implicit surfaces or point clouds to model clothed bodies. While not limited by topology, such methods still struggle to model clothing that deviates significantly from the body, such as skirts and dresses. This is because they rely on the body to canonicalize the clothed surface by reposing it to a reference shape. Unfortunately, this process is poorly defined when clothing is far from the body. Additionally, they use linear blend skinning to pose the body and the skinning weights are tied to the underlying body parts. In contrast, we model the clothing deformation in a local coordinate space without canonicalization. We also relax the skinning weights to let multiple body parts influence the surface. Specifically, we extend point-based methods with a coarse stage, that replaces canonicalization with a learned pose-independent ‘coarse shape’ that can capture the rough surface geometry of clothing like skirts. We then refine this using a network that infers the linear blend skinning weights and pose dependent displacements from the coarse representation. The approach works well for garments that both conform to, and deviate from, the body. We demonstrate the usefulness of our approach by learning person-specific avatars from examples and then show how they can be animated in new poses and motions. We also show that the method can learn directly from raw scans with missing data, greatly simplifying the process of creating realistic avatars. Code is available for research purposes at {\small\url{https://qianlim.github.io/SkiRT}}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google