Controllable Person Image Synthesis with Spatially-Adaptive Warped Normalization

要約

制御可能な人物画像の生成は、特定のポーズ、布のテクスチャ、ヘアスタイルなどの望ましい属性を備えたリアルな人物画像を生成することを目的としています。
ただし、ソース画像とターゲット画像の間の大きな空間的不整合により、標準の画像から画像への変換アーキテクチャはこのタスクには適していません。
最先端の方法のほとんどは、グローバルなポーズ転送タスクの位置合わせに焦点を当てています。
ただし、特に複雑なテクスチャを持つ人物の画像の場合、領域固有のテクスチャ転送タスクを処理できません。
この問題を解決するために、学習したフローフィールドをワープ変調パラメーターに統合する新しい空間適応ワープ正規化 (SAWN) を提案します。
これにより、人物の空間適応スタイルをポーズの特徴に効率的に合わせることができます。
さらに、生成された衣服の品質と非ターゲット領域の保存能力を向上させる、テクスチャ転送タスクのモデルを改良するための新しい自己トレーニング部品交換 (STPR) 戦略を提案します。
広く使用されている DeepFashion データセットに関する実験結果は、提案された方法が、ポーズ転送およびテクスチャ転送タスクに関する最先端の方法よりも大幅に改善されていることを示しています。
コードは https://github.com/zhangqianhui/Sawn で入手できます。

要約(オリジナル)

Controllable person image generation aims to produce realistic human images with desirable attributes such as a given pose, cloth textures, or hairstyles. However, the large spatial misalignment between source and target images makes the standard image-to-image translation architectures unsuitable for this task. Most state-of-the-art methods focus on alignment for global pose-transfer tasks. However, they fail to deal with region-specific texture-transfer tasks, especially for person images with complex textures. To solve this problem, we propose a novel Spatially-Adaptive Warped Normalization (SAWN) which integrates a learned flow-field to warp modulation parameters. It allows us to efficiently align person spatially-adaptive styles with pose features. Moreover, we propose a novel Self-Training Part Replacement (STPR) strategy to refine the model for the texture-transfer task, which improves the quality of the generated clothes and the preservation ability of non-target regions. Our experimental results on the widely used DeepFashion dataset demonstrate a significant improvement of the proposed method over the state-of-the-art methods on pose-transfer and texture-transfer tasks. The code is available at https://github.com/zhangqianhui/Sawn.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google