TELA: Text to Layer-wise 3D Clothed Human Generation

要約

この論文では、テクスチャ記述から 3D の服を着た人間を生成するタスクに取り組みます。
これまでの作品は通常、人体と衣服を全体的なモデルとしてエンコードし、モデル全体を 1 段階の最適化で生成していました。そのため、衣服の編集に苦労し、生成プロセス全体に対するきめ細かい制御が失われていました。
これを解決するために、生成プロセスの制御能力を提供しながら、衣服を解きほぐした 3D 人間モデルを生成する、段階的な最適化戦略と組み合わせた、レイヤーごとの衣服を着た人間の表現を提案します。
基本的なアイデアは、最小限の衣服を着た人体とレイヤーごとの衣服を段階的に生成することです。
衣服の生成中に、多層の人体モデルを融合するための新しい層別合成レンダリング法が提案され、衣服モデルを人体から分離するために新しい損失関数が利用されます。
提案手法は高品質なほぐしを実現し、3D 衣服生成の効果的な方法を提供します。
広範な実験により、私たちのアプローチが最先端の 3D 衣服を着た人間の生成を実現しながら、仮想試着などの衣服編集アプリケーションもサポートしていることが実証されました。
プロジェクトページ：http://jtdong.com/tela_layer/

要約(オリジナル)

This paper addresses the task of 3D clothed human generation from textural descriptions. Previous works usually encode the human body and clothes as a holistic model and generate the whole model in a single-stage optimization, which makes them struggle for clothing editing and meanwhile lose fine-grained control over the whole generation process. To solve this, we propose a layer-wise clothed human representation combined with a progressive optimization strategy, which produces clothing-disentangled 3D human models while providing control capacity for the generation process. The basic idea is progressively generating a minimal-clothed human body and layer-wise clothes. During clothing generation, a novel stratified compositional rendering method is proposed to fuse multi-layer human models, and a new loss function is utilized to help decouple the clothing model from the human body. The proposed method achieves high-quality disentanglement, which thereby provides an effective way for 3D garment generation. Extensive experiments demonstrate that our approach achieves state-of-the-art 3D clothed human generation while also supporting cloth editing applications such as virtual try-on. Project page: http://jtdong.com/tela_layer/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google