Garment3DGen: 3D Garment Stylization and Texture Generation

要約

単一の入力画像をガイダンスとして与えられたベース メッシュから 3D 衣服アセットを合成する新しい方法である Garment3DGen を紹介します。
私たちが提案するアプローチでは、ユーザーは実際の画像と合成画像 (テキスト プロンプトによって生成される画像など) の両方に基づいて 3D テクスチャ付きの衣服を生成できます。
生成されたアセットは、人体に直接ドレープしてシミュレートできます。
まず、画像から 3D への拡散手法の最近の進歩を利用して、3D 衣服のジオメトリを生成します。
ただし、これらのジオメトリは下流のタスクに直接利用できないため、それらを擬似グラウンドトゥルースとして使用し、生成された 3D ターゲットに一致するようにベース テンプレート メッシュを変形するメッシュ変形最適化手順をセットアップすることを提案します。
2 番目に、入力ベース メッシュが目的のターゲットに向かって自由に変形できるようにしながら、シミュレーションできるようにメッシュの品質とトポロジを維持できるように、慎重に設計された損失を導入します。
最後に、テクスチャ推定モジュールは、グローバルおよびローカルで一貫性があり、入力ガイダンスを忠実にキャプチャする高忠実度のテクスチャ マップを生成し、生成された 3D アセットをレンダリングできるようにします。
Garment3DGen を使用すると、ユーザーはアーティストの介入を必要とせずに、好みのテクスチャ付き 3D 衣服を生成できます。
シミュレーション対応の 3D アセットを生成したい衣服について説明するテキスト プロンプトを提供できます。
実際のアセットと生成されたアセットの両方について、定量的および定性的な比較を大量に示し、シミュレーション対応の 3D 衣服を生成する方法のユースケースを提供します。

要約(オリジナル)

We introduce Garment3DGen a new method to synthesize 3D garment assets from a base mesh given a single input image as guidance. Our proposed approach allows users to generate 3D textured clothes based on both real and synthetic images, such as those generated by text prompts. The generated assets can be directly draped and simulated on human bodies. First, we leverage the recent progress of image to 3D diffusion methods to generate 3D garment geometries. However, since these geometries cannot be utilized directly for downstream tasks, we propose to use them as pseudo ground-truth and set up a mesh deformation optimization procedure that deforms a base template mesh to match the generated 3D target. Second, we introduce carefully designed losses that allow the input base mesh to freely deform towards the desired target, yet preserve mesh quality and topology such that they can be simulated. Finally, a texture estimation module generates high-fidelity texture maps that are globally and locally consistent and faithfully capture the input guidance, allowing us to render the generated 3D assets. With Garment3DGen users can generate the textured 3D garment of their choice without the need of artist intervention. One can provide a textual prompt describing the garment they desire to generate a simulation-ready 3D asset. We present a plethora of quantitative and qualitative comparisons on various assets both real and generated and provide use-cases of how one can generate simulation-ready 3D garments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google