Towards Garment Sewing Pattern Reconstruction from a Single Image

要約

衣服の縫製パターンは衣服の本質的な残りの形状を表し、ファッション デザイン、仮想試着、デジタル アバターなどの多くのアプリケーションの中核となります。
この研究では、これらのアプリケーションを強化するために、日常の写真から衣服の縫製パターンを復元するという困難な問題を検討します。
この問題を解決するために、まず SewFactory という名前の汎用性の高いデータセットを合成します。このデータセットは、モデルのトレーニングと定量的評価のために、約 100 万枚の画像とグラウンドトゥルースの縫製パターンで構成されています。
SewFactory は人間のポーズ、体型、縫製パターンを幅広くカバーしており、提案されたヒューマン テクスチャ合成ネットワークによりリアルな外観を備えています。
次に、縫製パターン予測性能を大幅に向上させる、Sewformer と呼ばれる 2 レベルの Transformer ネットワークを提案します。
広範な実験により、提案されたフレームワークが縫製パターンの復元に効果的であり、何気なく撮影された人物の写真によく一般化できることが実証されました。
コード、データセット、および事前トレーニングされたモデルは、https://sewformer.github.io で入手できます。

要約(オリジナル)

Garment sewing pattern represents the intrinsic rest shape of a garment, and is the core for many applications like fashion design, virtual try-on, and digital avatars. In this work, we explore the challenging problem of recovering garment sewing patterns from daily photos for augmenting these applications. To solve the problem, we first synthesize a versatile dataset, named SewFactory, which consists of around 1M images and ground-truth sewing patterns for model training and quantitative evaluation. SewFactory covers a wide range of human poses, body shapes, and sewing patterns, and possesses realistic appearances thanks to the proposed human texture synthesis network. Then, we propose a two-level Transformer network called Sewformer, which significantly improves the sewing pattern prediction performance. Extensive experiments demonstrate that the proposed framework is effective in recovering sewing patterns and well generalizes to casually-taken human photos. Code, dataset, and pre-trained models are available at: https://sewformer.github.io.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google