FISTNet: FusIon of STyle-path generative Networks for Facial Style Transfer

要約

メタバース、空間コンピューティング、生成 AI などの新興テクノロジーの急増に伴い、顔スタイル転送のアプリケーションは、研究者だけでなくスタートアップ愛好家からも多くの関心を集めています。
StyleGAN メソッドは、トレーニング プロセスに利用できる膨大な量のデータへの依存を軽減できる転移学習戦略への道を切り開きました。
ただし、StyleGAN メソッドには過剰適合の傾向があり、その結果、顔画像にアーティファクトが発生します。
DualStyleGAN などの研究では、マルチパス ネットワークの使用が提案されていますが、顔のスタイルの融合を一度に生成するのではなく、特定のスタイルに合わせてネットワークをトレーニングする必要があります。
この論文では、事前にトレーニングされたマルチパス スタイルの転送ネットワークを活用し、トレーニング段階での複数のスタイルの融合に伴う膨大なデータ量の不足に伴う問題を解決する、顔画像用の FusIon of STyles (FIST) ネットワークを提案します。
出力。
変換コーディング ブロックの代わりに残差変調ブロックを使用する外部スタイル パスを備えた事前トレーニング済みの styleGAN ネットワークを活用します。
この方法では、この研究で導入されたゲート マッピング ユニットを介して、顔の構造、アイデンティティ、および詳細も保存されます。
前述のコンポーネントにより、高品質の様式化された画像を生成しながら、非常に限られた量のデータでネットワークをトレーニングすることができます。
私たちのトレーニング プロセスは、カリキュラム学習戦略を適応させて、生成空間で効率的で柔軟なスタイルとモデルの融合を実行します。
私たちは、既存の最先端の方法と比較して FISTNet の優位性を示すために広範な実験を実行します。

要約(オリジナル)

With the surge in emerging technologies such as Metaverse, spatial computing, and generative AI, the application of facial style transfer has gained a lot of interest from researchers as well as startups enthusiasts alike. StyleGAN methods have paved the way for transfer-learning strategies that could reduce the dependency on the huge volume of data that is available for the training process. However, StyleGAN methods have the tendency of overfitting that results in the introduction of artifacts in the facial images. Studies, such as DualStyleGAN, proposed the use of multipath networks but they require the networks to be trained for a specific style rather than generating a fusion of facial styles at once. In this paper, we propose a FusIon of STyles (FIST) network for facial images that leverages pre-trained multipath style transfer networks to eliminate the problem associated with lack of huge data volume in the training phase along with the fusion of multiple styles at the output. We leverage pre-trained styleGAN networks with an external style pass that use residual modulation block instead of a transform coding block. The method also preserves facial structure, identity, and details via the gated mapping unit introduced in this study. The aforementioned components enable us to train the network with very limited amount of data while generating high-quality stylized images. Our training process adapts curriculum learning strategy to perform efficient, flexible style and model fusion in the generative space. We perform extensive experiments to show the superiority of FISTNet in comparison to existing state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google