Garment3DGen: 3D Garment Stylization and Texture Generation

要約

Garment3Dgenに、ガイダンスとして単一の入力画像を与えられたベースメッシュから3D衣服資産を合成する新しい方法を導入します。
提案されたアプローチにより、ユーザーは、テキストプロンプトで生成されたものなど、実際の画像と合成画像の両方に基づいて3Dテクスチャ服を生成できます。
生成された資産は、人体に直接覆われてシミュレートできます。
画像間拡散法の最近の進捗状況を活用して、3D衣服のジオメトリを生成します。
ただし、これらのジオメトリはダウンストリームタスクに直接使用できないため、それらを擬似の根真実として使用し、生成された3Dターゲットと一致するベーステンプレートメッシュを変形させるメッシュ変形最適化手順を設定することを提案します。
慎重に設計された損失により、ベースメッシュは望ましいターゲットに向かって自由に変形しますが、メッシュの品質とトポロジをシミュレートできるように保存できます。
最後に、グローバルかつ局所的に一貫性のある高忠実度のテクスチャマップを生成し、入力ガイダンスを忠実にキャプチャして、生成された3Dアセットをレンダリングできるようにします。
Garment3DGenを使用すると、ユーザーはアーティストの介入を必要とせずに、選択したシミュレーション対応の3Dガーメントを生成できます。
さまざまな資産で多くの定量的および定性的比較を提示し、Garment3DGenがスケッチからシミュレートされた衣服から範囲の主要なアプリケーションのロックを解除したり、VRの衣服と対話したりすることを示しています。
コードは公開されています。

要約(オリジナル)

We introduce Garment3DGen a new method to synthesize 3D garment assets from a base mesh given a single input image as guidance. Our proposed approach allows users to generate 3D textured clothes based on both real and synthetic images, such as those generated by text prompts. The generated assets can be directly draped and simulated on human bodies. We leverage the recent progress of image-to-3D diffusion methods to generate 3D garment geometries. However, since these geometries cannot be utilized directly for downstream tasks, we propose to use them as pseudo ground-truth and set up a mesh deformation optimization procedure that deforms a base template mesh to match the generated 3D target. Carefully designed losses allow the base mesh to freely deform towards the desired target, yet preserve mesh quality and topology such that they can be simulated. Finally, we generate high-fidelity texture maps that are globally and locally consistent and faithfully capture the input guidance, allowing us to render the generated 3D assets. With Garment3DGen users can generate the simulation-ready 3D garment of their choice without the need of artist intervention. We present a plethora of quantitative and qualitative comparisons on various assets and demonstrate that Garment3DGen unlocks key applications ranging from sketch-to-simulated garments or interacting with the garments in VR. Code is publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google