Significance of Skeleton-based Features in Virtual Try-On

要約

\textit{Virtual Try-ON} (VTON) のアイデアは、ユーザーが自宅で快適に服を試すことができるという利便性を提供することで、e-リテールに利益をもたらします。
一般に、既存の VTON メソッドのほとんどは、腕を組んだり、曲げたり組んだりしてポーズをとっている人物が衣装を試着したい場合に、一貫性のない結果を生成します。
長袖の服装の場合、問題は深刻になります。
そのため、交差した腕の姿勢では、異なる衣服パーツ間でオーバーラップが発生する可能性があります.
既存のアプローチ、特に \textit{Thin Plate Spline (TPS)} 変換を使用するワーピング ベースの方法では、このようなケースに対処できません。
この目的のために、ソース人物の衣服を意味的に意味のあるパーツに分割し、各パーツを人物の形状に合わせて個別に歪ませるソリューション アプローチを試みます。
曲げの問題に対処するために、人体の形状と一致する手作りの幾何学的特徴を使用して、ソースの衣装を歪めます。
さらに、シンセサイザー ネットワークとマスク予測ネットワークの 2 つの学習ベースのモジュールを提案します。
これらすべてを組み合わせて、ペアのトレーニング データを必要とせずに、写真のようにリアルでポーズに強い VTON ソリューションを作成しようとします。
いくつかのベンチマーク手法との比較により、このアプローチの有効性が明確に確立されます。

要約(オリジナル)

The idea of \textit{Virtual Try-ON} (VTON) benefits e-retailing by giving an user the convenience of trying a clothing at the comfort of their home. In general, most of the existing VTON methods produce inconsistent results when a person posing with his arms folded i.e., bent or crossed, wants to try an outfit. The problem becomes severe in the case of long-sleeved outfits. As then, for crossed arm postures, overlap among different clothing parts might happen. The existing approaches, especially the warping-based methods employing \textit{Thin Plate Spline (TPS)} transform can not tackle such cases. To this end, we attempt a solution approach where the clothing from the source person is segmented into semantically meaningful parts and each part is warped independently to the shape of the person. To address the bending issue, we employ hand-crafted geometric features consistent with human body geometry for warping the source outfit. In addition, we propose two learning-based modules: a synthesizer network and a mask prediction network. All these together attempt to produce a photo-realistic, pose-robust VTON solution without requiring any paired training data. Comparison with some of the benchmark methods clearly establishes the effectiveness of the approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google