C-VTON: Context-Driven Image-Based Virtual Try-On Network

要約

画像ベースの仮想試着技術は、ファッション指向の e コマース プラットフォームでのユーザー エクスペリエンスの向上と顧客満足度の向上に大きな期待を寄せています。
しかし、既存の技術では、さまざまな特性の入力画像から生成できる試着結果の品質に、現在のところまだ限界があります。
この作業では、これらの制限に対処し、困難なポーズ構成や自己閉塞の存在下でも、選択した衣料品をターゲット被験者に説得力を持って転送するコンテキスト駆動型仮想試着ネットワーク (C-VTON) を提案します。
C-VTON パイプラインの中核となるのは、(i) ターゲットの衣服を入力画像内の人物のポーズに効率的に位置合わせする幾何学的マッチング手順、および (ii) さまざまなタイプのコンテキスト情報を利用する強力な画像ジェネレーターです。
最終的な試着結果を合成するとき。
C-VTON は、VITON および MPV データセットでの厳密な実験で評価され、文献の最先端技術と比較されます。
実験結果は、提案されたアプローチが写真のようにリアルで視覚的に説得力のある結果を生み出すことができ、既存の最先端技術を大幅に改善することを示しています。

要約(オリジナル)

Image-based virtual try-on techniques have shown great promise for enhancing the user-experience and improving customer satisfaction on fashion-oriented e-commerce platforms. However, existing techniques are currently still limited in the quality of the try-on results they are able to produce from input images of diverse characteristics. In this work, we propose a Context-Driven Virtual Try-On Network (C-VTON) that addresses these limitations and convincingly transfers selected clothing items to the target subjects even under challenging pose configurations and in the presence of self-occlusions. At the core of the C-VTON pipeline are: (i) a geometric matching procedure that efficiently aligns the target clothing with the pose of the person in the input images, and (ii) a powerful image generator that utilizes various types of contextual information when synthesizing the final try-on result. C-VTON is evaluated in rigorous experiments on the VITON and MPV datasets and in comparison to state-of-the-art techniques from the literature. Experimental results show that the proposed approach is able to produce photo-realistic and visually convincing results and significantly improves on the existing state-of-the-art.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google