FitGAN: Fit- and Shape-Realistic Generative Adversarial Networks for Fashion

要約

ファッションeコマースが急速に成長する中、ファッション記事のリモートフィッティングは依然として複雑で困難な問題であり、顧客のフラストレーションの主な要因となっています。
3D仮想試着ソリューションの最近の進歩にもかかわらず、そのようなアプローチは依然として非常に狭い（ほんの一握りではないにしても）記事の選択に限定されており、多くの場合、それらのファッションアイテムの1つのサイズのみに限定されています。
顧客がオンラインで自分に合ったものを見つけるのをサポートすることを目的とした他の最先端のアプローチでは、ほとんどの場合、高レベルの顧客エンゲージメントとプライバシーに配慮したデータ（身長、体重、年齢、性別、腹の形など）が必要です。
または、タイトな服を着た顧客の体の画像が必要です。
彼らはまた、衣服がどのようにフィットし、見えるかについての情報を提供することなく、顧客の身体の属性に最もよく一致する注文するサイズを単にアドバイスすることによって不足する、大規模なフィット感と形状を意識した視覚的ガイダンスを生成する能力を欠いていることがよくあります。
飛躍を遂げ、現在のアプローチの限界を超えることに貢献する、FitGANを紹介します。これは、衣服の絡み合ったサイズとオンラインファッションのフィット特性を大規模に明示的に説明する生成的敵対的モデルです。
記事のフィット感と形状を条件として、モデルは解きほぐされたアイテムの表現を学習し、ファッション記事の真のフィット感と形状の特性を反映したリアルな画像を生成します。
実世界のデータを大規模に実験することで、私たちのアプローチがどのように視覚的にリアルで多様なファッションアイテムのフィットを合成できるかを示し、何千ものオンライン衣服の画像のフィットと形状を制御する能力を探ります。

要約(オリジナル)

Amidst the rapid growth of fashion e-commerce, remote fitting of fashion articles remains a complex and challenging problem and a main driver of customers’ frustration. Despite the recent advances in 3D virtual try-on solutions, such approaches still remain limited to a very narrow – if not only a handful – selection of articles, and often for only one size of those fashion items. Other state-of-the-art approaches that aim to support customers find what fits them online mostly require a high level of customer engagement and privacy-sensitive data (such as height, weight, age, gender, belly shape, etc.), or alternatively need images of customers’ bodies in tight clothing. They also often lack the ability to produce fit and shape aware visual guidance at scale, coming up short by simply advising which size to order that would best match a customer’s physical body attributes, without providing any information on how the garment may fit and look. Contributing towards taking a leap forward and surpassing the limitations of current approaches, we present FitGAN, a generative adversarial model that explicitly accounts for garments’ entangled size and fit characteristics of online fashion at scale. Conditioned on the fit and shape of the articles, our model learns disentangled item representations and generates realistic images reflecting the true fit and shape properties of fashion articles. Through experiments on real world data at scale, we demonstrate how our approach is capable of synthesizing visually realistic and diverse fits of fashion items and explore its ability to control fit and shape of images for thousands of online garments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google