Multimodal-Conditioned Latent Diffusion Models for Fashion Image Editing

要約

ファッションイラストは、デザイナーにとって創造的なビジョンを伝え、デザインコンセプトを衣服と人体の相互作用を示す具体的な表現に変えるための重要な媒体です。
ファッションデザインの文脈では、コンピュータービジョン技術はデザインプロセスを強化し、合理化する可能性を秘めています。
この論文は、主に仮想試着に焦点を当てた先行研究から離れて、マルチモーダル条件付きファッション画像編集のタスクに取り組みます。
私たちのアプローチは、テキスト、人体のポーズ、衣服のスケッチ、生地のテクスチャなどのマルチモーダルなプロンプトに基づいて人間中心のファッション画像を生成することを目的としています。
この問題に対処するために、潜在拡散モデルを拡張してこれらの複数のモダリティを組み込み、マルチモーダル プロンプトを入力として取り、ノイズ除去ネットワークの構造を変更することを提案します。
ファブリック テクスチャに基づいて提案されたアーキテクチャを条件付けるために、テキスト反転技術を採用し、ノイズ除去ネットワークのさまざまなクロスアテンション層がテキスト情報とテクスチャ情報に対応できるようにして、さまざまな粒度の条件付けの詳細を組み込んでいます。
このタスク用のデータセットが不足していることを考慮して、2 つの既存のファッション データセット、Dress Code と VITON-HD をマルチモーダル アノテーションで拡張します。
実験による評価は、提供されたマルチモーダル入力に関するリアリズムと一貫性の観点から、提案したアプローチの有効性を実証します。

要約(オリジナル)

Fashion illustration is a crucial medium for designers to convey their creative vision and transform design concepts into tangible representations that showcase the interplay between clothing and the human body. In the context of fashion design, computer vision techniques have the potential to enhance and streamline the design process. Departing from prior research primarily focused on virtual try-on, this paper tackles the task of multimodal-conditioned fashion image editing. Our approach aims to generate human-centric fashion images guided by multimodal prompts, including text, human body poses, garment sketches, and fabric textures. To address this problem, we propose extending latent diffusion models to incorporate these multiple modalities and modifying the structure of the denoising network, taking multimodal prompts as input. To condition the proposed architecture on fabric textures, we employ textual inversion techniques and let diverse cross-attention layers of the denoising network attend to textual and texture information, thus incorporating different granularity conditioning details. Given the lack of datasets for the task, we extend two existing fashion datasets, Dress Code and VITON-HD, with multimodal annotations. Experimental evaluations demonstrate the effectiveness of our proposed approach in terms of realism and coherence concerning the provided multimodal inputs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google