Cloth2Tex: A Customized Cloth Texture Generation Pipeline for 3D Virtual Try-On

要約

3D 衣服の製造とデザインは、さまざまな用途向けにリアルな服を着た人物を合成する必要性が高まっているため、非常に要求が厳しくなっています。
3Dバーチャル試着、2D衣服の3Dアパレルへのデジタル化、布アニメーション。
したがって、2D 参照画像などの単純な入力から高品質のテクスチャを取得するには、シンプルで簡単なパイプラインが必要です。
従来のワーピングベースのテクスチャ生成方法では、衣類の種類ごとに多数の制御点を手動で選択する必要があり、時間と退屈なプロセスになる可能性があります。
私たちはこの工程における人的負担を排除する新たな手法「Cloth2Tex」を提案します。
Cloth2Tex は、合理的なレイアウトと構造の一貫性を備えたテクスチャ マップを生成する自己監視型メソッドです。
Cloth2Tex のもう 1 つの重要な機能は、高忠実度のテクスチャ修復をサポートするために使用できることです。
これは、Cloth2Tex を一般的な潜在拡散モデルと組み合わせることによって行われます。
私たちはこのアプローチを定性的および定量的の両方で評価し、Cloth2Tex が高品質のテクスチャ マップを生成し、他の方法と比較して最高の視覚効果を達成できることを実証します。
プロジェクトページ: tomguluson92.github.io/projects/cloth2tex/

要約(オリジナル)

Fabricating and designing 3D garments has become extremely demanding with the increasing need for synthesizing realistic dressed persons for a variety of applications, e.g. 3D virtual try-on, digitalization of 2D clothes into 3D apparel, and cloth animation. It thus necessitates a simple and straightforward pipeline to obtain high-quality texture from simple input, such as 2D reference images. Since traditional warping-based texture generation methods require a significant number of control points to be manually selected for each type of garment, which can be a time-consuming and tedious process. We propose a novel method, called Cloth2Tex, which eliminates the human burden in this process. Cloth2Tex is a self-supervised method that generates texture maps with reasonable layout and structural consistency. Another key feature of Cloth2Tex is that it can be used to support high-fidelity texture inpainting. This is done by combining Cloth2Tex with a prevailing latent diffusion model. We evaluate our approach both qualitatively and quantitatively and demonstrate that Cloth2Tex can generate high-quality texture maps and achieve the best visual effects in comparison to other methods. Project page: tomguluson92.github.io/projects/cloth2tex/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google