FashionTex: Controllable Virtual Try-on with Text and Texture

要約

タイトル：FashionTex: テキストとテクスチャを用いた操作可能なバーチャル試着

要約：
– オンライン洋服ショッピングのユーザー体験を向上させる有望な方法として、バーチャル試着が注目されている
– 既存の方法では、ユーザーは存在しない目標の洋服を含む設計されたリファレンス画像を提供する必要があるため、問題がある
– 全身肖像画におけるユーザーフレンドリーなファッションカスタマイズをサポートするため、テキストとテクスチャの両方の利点を組み合わせたマルチモーダルなインタラクティブ設定を提案する
– 注意深く設計されたファッション編集モジュールと損失関数により、FashionTexフレームワークは、アノテーション付きのペアワイズトレーニングデータを必要とせずに、意味的にクロスタイプとローカルテクスチャパターンを制御できる
– さらに、入力ポートレートのアイデンティティを維持するためにID回復モジュールを導入する
– 幅広い実験により、提案されたパイプラインの効果的であることが示された。

要約(オリジナル)

Virtual try-on attracts increasing research attention as a promising way for enhancing the user experience for online cloth shopping. Though existing methods can generate impressive results, users need to provide a well-designed reference image containing the target fashion clothes that often do not exist. To support user-friendly fashion customization in full-body portraits, we propose a multi-modal interactive setting by combining the advantages of both text and texture for multi-level fashion manipulation. With the carefully designed fashion editing module and loss functions, FashionTex framework can semantically control cloth types and local texture patterns without annotated pairwise training data. We further introduce an ID recovery module to maintain the identity of input portrait. Extensive experiments have demonstrated the effectiveness of our proposed pipeline.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI