Style Your Hair: Latent Optimization for Pose-Invariant Hairstyle Transfer via Local-Style-Aware Hair Alignment

要約

ヘアスタイルの複雑さと繊細さのために、ヘアスタイルの編集は独特でやりがいのある作業です。
最近のアプローチは髪の詳細を大幅に改善しましたが、これらのモデルは、ソース画像のポーズがターゲットの髪画像のポーズとかなり異なる場合に望ましくない出力を生成することが多く、現実世界での適用が制限されます。
ポーズ不変のヘアスタイル転送モデルであるHairFITは、この制限を緩和しますが、繊細な髪の質感を維持する上でまだ不十分な品質を示しています.
これらの制限を解決するために、潜在的な最適化と新しく提示されたローカル スタイル マッチング ロスを備えた高性能のポーズ不変ヘアスタイル転送モデルを提案します。
StyleGAN2 潜在空間では、最初に、ローカル スタイル マッチングに基づいて保存された詳細なテクスチャを使用して、ターゲット ヘアのポーズに合わせた潜在コードを調べます。
次に、モデルは、位置合わせされたターゲット ヘアを考慮してソースのオクルージョンを修復し、両方の画像をブレンドして最終的な出力を生成します。
実験結果は、私たちのモデルが、より大きなポーズの違いの下で髪型を移し、局所的な髪型のテクスチャを維持することに強みがあることを示しています。

要約(オリジナル)

Editing hairstyle is unique and challenging due to the complexity and delicacy of hairstyle. Although recent approaches significantly improved the hair details, these models often produce undesirable outputs when a pose of a source image is considerably different from that of a target hair image, limiting their real-world applications. HairFIT, a pose-invariant hairstyle transfer model, alleviates this limitation yet still shows unsatisfactory quality in preserving delicate hair textures. To solve these limitations, we propose a high-performing pose-invariant hairstyle transfer model equipped with latent optimization and a newly presented local-style-matching loss. In the StyleGAN2 latent space, we first explore a pose-aligned latent code of a target hair with the detailed textures preserved based on local style matching. Then, our model inpaints the occlusions of the source considering the aligned target hair and blends both images to produce a final output. The experimental results demonstrate that our model has strengths in transferring a hairstyle under larger pose differences and preserving local hairstyle textures.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google