DressCode: Autoregressively Sewing and Generating Garments from Text Guidance

要約

人間の外見におけるアパレルの重要な役割は、デジタル人間の創造にとって衣服のデジタル化の重要性を強調しています。
3D コンテンツ作成における最近の進歩は、デジタル ヒューマンの作成にとって極めて重要です。
それにもかかわらず、テキストガイダンスからの衣服の生成はまだ初期段階にあります。
テキスト駆動の 3D 衣服生成フレームワークである DressCode を紹介します。これは、初心者向けにデザインを民主化し、ファッション デザイン、仮想試着、デジタル ヒューマンの作成に計り知れない可能性を提供することを目的としています。
まず、SewingGPT を紹介します。SewingGPT は、クロスアテンションとテキスト条件付き埋め込みを統合して、テキスト ガイダンス付きの縫製パターンを生成する GPT ベースのアーキテクチャです。
次に、事前にトレーニングされた安定した拡散を調整して、衣服用のタイルベースの物理ベース レンダリング (PBR) テクスチャを生成します。
大規模な言語モデルを活用することで、私たちのフレームワークは自然言語対話を通じて CG に適した衣服を生成します。
また、パターンの完成やテクスチャの編集も容易になり、ユーザーフレンドリーなインタラクションを通じてデザインプロセスを合理化します。
このフレームワークは、クリエイターがデザインを自由に実験し、独自の要素を作品に組み込むことを可能にすることで、イノベーションを促進します。
包括的な評価と他の最先端の手法との比較により、当社の手法は優れた品質と入力プロンプトとの整合性を示しています。
ユーザー調査では、高品質のレンダリング結果がさらに検証され、制作現場での実用性と可能性が強調されています。
私たちのプロジェクトページは https://IHe-KaiI.github.io/DressCode/ です。

要約(オリジナル)

Apparel’s significant role in human appearance underscores the importance of garment digitalization for digital human creation. Recent advances in 3D content creation are pivotal for digital human creation. Nonetheless, garment generation from text guidance is still nascent. We introduce a text-driven 3D garment generation framework, DressCode, which aims to democratize design for novices and offer immense potential in fashion design, virtual try-on, and digital human creation. We first introduce SewingGPT, a GPT-based architecture integrating cross-attention with text-conditioned embedding to generate sewing patterns with text guidance. We then tailor a pre-trained Stable Diffusion to generate tile-based Physically-based Rendering (PBR) textures for the garments. By leveraging a large language model, our framework generates CG-friendly garments through natural language interaction. It also facilitates pattern completion and texture editing, streamlining the design process through user-friendly interaction. This framework fosters innovation by allowing creators to freely experiment with designs and incorporate unique elements into their work. With comprehensive evaluations and comparisons with other state-of-the-art methods, our method showcases superior quality and alignment with input prompts. User studies further validate our high-quality rendering results, highlighting its practical utility and potential in production settings. Our project page is https://IHe-KaiI.github.io/DressCode/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google