Face-PAST: Facial Pose Awareness and Style Transfer Networks

要約

顔のスタイルの転送は、拡張現実 (XR)、メタバース、非代替トークン (NFT) などの新興テクノロジーの台頭により、研究者の間で非常に人気があります。
さらに、StyleGAN メソッドと転移学習戦略により、限られたデータの問題がある程度軽減されました。
ただし、StyleGAN メソッドのほとんどは、顔画像にアーティファクトを追加する際にスタイルをオーバーフィットさせます。
この論文では、高品質の様式化された画像を生成しながら、顔の詳細と構造を保存する顔のポーズ認識およびスタイル転送 (Face-PAST) ネットワークを提案します。
Dual StyleGAN は私たちの仕事にインスピレーションを与えていますが、対照的に、私たちの仕事では、変換コーディング ブロックの代わりに残差変調ブロックを備えた外部スタイル パスで事前トレーニングされたスタイル生成ネットワークを使用しています。
さらに、ゲート マッピング ユニットと顔の構造、アイデンティティ、およびセグメンテーションの損失を使用して、顔の構造と詳細を保存します。
これにより、高品質の様式化された画像を生成しながら、非常に限られた量のデータでネットワークをトレーニングすることができます。
私たちのトレーニング プロセスは、カリキュラム学習戦略を適応させて、生成空間で効率的かつ柔軟なスタイル ミキシングを実行します。
私たちは、既存の最先端の方法と比較して、Face-PAST の優位性を示すために広範な実験を実行します。

要約(オリジナル)

Facial style transfer has been quite popular among researchers due to the rise of emerging technologies such as eXtended Reality (XR), Metaverse, and Non-Fungible Tokens (NFTs). Furthermore, StyleGAN methods along with transfer-learning strategies have reduced the problem of limited data to some extent. However, most of the StyleGAN methods overfit the styles while adding artifacts to facial images. In this paper, we propose a facial pose awareness and style transfer (Face-PAST) network that preserves facial details and structures while generating high-quality stylized images. Dual StyleGAN inspires our work, but in contrast, our work uses a pre-trained style generation network in an external style pass with a residual modulation block instead of a transform coding block. Furthermore, we use the gated mapping unit and facial structure, identity, and segmentation losses to preserve the facial structure and details. This enables us to train the network with a very limited amount of data while generating high-quality stylized images. Our training process adapts curriculum learning strategy to perform efficient and flexible style mixing in the generative space. We perform extensive experiments to show the superiority of Face-PAST in comparison to existing state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google