High-Resolution Virtual Try-On with Misalignment and Occlusion-Handled Conditions

要約

画像ベースの仮想試着は、特定の衣料品を着ている人の画像を合成することを目的としています。
タスクを解決するために、既存の方法は、アイテムを人と融合する前に、人の体に合うように衣類アイテムをワープし、アイテムを着ている人のセグメンテーションマップを生成する。
ただし、ワーピングとセグメンテーションの生成段階が情報交換なしで個別に動作する場合、ワープされた衣服とセグメンテーションマップの間の不整合が発生し、最終的な画像にアーティファクトが発生します。
情報の切断はまた、身体の部分によって塞がれている衣服の領域の近くで過度の反り、いわゆるピクセルスクイーズアーティファクトを引き起こします。
問題を解決するために、2つのステージ（つまり、ワーピングとセグメンテーション生成ステージ）の統合モジュールとして新しい試着条件ジェネレータを提案します。
条件ジェネレーターで新しく提案された機能融合ブロックは情報交換を実装し、条件ジェネレーターはミスアライメントやピクセルスクイーズアーティファクトを作成しません。
また、誤ったセグメンテーションマップの予測を除外し、仮想試着フレームワークのパフォーマンスを保証するディスクリミネーター拒否を導入します。
高解像度データセットでの実験は、モデルがミスアライメントとオクルージョンを正常に処理し、ベースラインを大幅に上回っていることを示しています。
コードはhttps://github.com/sangyun884/HR-VITONで入手できます。

要約(オリジナル)

Image-based virtual try-on aims to synthesize an image of a person wearing a given clothing item. To solve the task, the existing methods warp the clothing item to fit the person’s body and generate the segmentation map of the person wearing the item, before fusing the item with the person. However, when the warping and the segmentation generation stages operate individually without information exchange, the misalignment between the warped clothes and the segmentation map occurs, which leads to the artifacts in the final image. The information disconnection also causes excessive warping near the clothing regions occluded by the body parts, so called pixel-squeezing artifacts. To settle the issues, we propose a novel try-on condition generator as a unified module of the two stages (i.e., warping and segmentation generation stages). A newly proposed feature fusion block in the condition generator implements the information exchange, and the condition generator does not create any misalignment or pixel-squeezing artifacts. We also introduce discriminator rejection that filters out the incorrect segmentation map predictions and assures the performance of virtual try-on frameworks. Experiments on a high-resolution dataset demonstrate that our model successfully handles the misalignment and the occlusion, and significantly outperforms the baselines. Code is available at https://github.com/sangyun884/HR-VITON.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google