PICTURE: PhotorealistIC virtual Try-on from UnconstRained dEsigns

要約

この論文では、入力された人間の画像上でパーソナライズされた複合衣服のフォトリアリスティックな合成を可能にする、新しい制約のないデザインからの仮想試着 (ucVTON) タスクを提案します。
特定の入力タイプに制約される従来技術とは異なり、本発明の方法は、スタイル（テキストまたは画像）およびテクスチャ（フルガーメント、トリミングされたセクション、またはテクスチャパッチ）条件の柔軟な指定を可能にする。
衣服全体の画像を条件として使用する場合のもつれの課題に対処するために、スタイルとテクスチャの明示的なもつれを解く 2 段階のパイプラインを開発します。
最初の段階では、入力に基づいて条件付けされた目的のスタイルを反映するヒューマン解析マップを生成します。
第 2 段階では、テクスチャ入力に基づいて解析マップ領域にテクスチャを合成します。
これまでのファッション編集作業では実現できなかった複雑で非定常なテクスチャを表現するために、まず階層的でバランスの取れた CLIP 特徴を抽出し、VTON で位置エンコーディングを適用することを提案します。
実験では、私たちの方法によって可能になる優れた合成品質とパーソナライゼーションが実証されています。
スタイルとテクスチャの混合を柔軟に制御できるため、オンライン ショッピングやファッション デザインにおいて、仮想試着が新しいレベルのユーザー エクスペリエンスに引き上げられます。

要約(オリジナル)

In this paper, we propose a novel virtual try-on from unconstrained designs (ucVTON) task to enable photorealistic synthesis of personalized composite clothing on input human images. Unlike prior arts constrained by specific input types, our method allows flexible specification of style (text or image) and texture (full garment, cropped sections, or texture patches) conditions. To address the entanglement challenge when using full garment images as conditions, we develop a two-stage pipeline with explicit disentanglement of style and texture. In the first stage, we generate a human parsing map reflecting the desired style conditioned on the input. In the second stage, we composite textures onto the parsing map areas based on the texture input. To represent complex and non-stationary textures that have never been achieved in previous fashion editing works, we first propose extracting hierarchical and balanced CLIP features and applying position encoding in VTON. Experiments demonstrate superior synthesis quality and personalization enabled by our method. The flexible control over style and texture mixing brings virtual try-on to a new level of user experience for online shopping and fashion design.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google