Few-shots Portrait Generation with Style Enhancement and Identity Preservation

要約

現在、仮想デジタル ヒューマンの幅広いアプリケーションは、デジタル経済に支えられたデジタル文化の包括的な繁栄と発展を促進しています。
AI テクノロジーによって自動的に生成されるパーソナライズされたポートレートには、自然な芸術的スタイルと人間の感情の両方が必要です。
この論文では、生成されたポートレートのアイデンティティと芸術性を同時に保証できる新しいStyleIdentityGANモデルを提案します。
具体的には、スタイル強化モジュールは、生成された仮想顔画像の芸術性を向上させるために、芸術的なスタイル機能の分離と転送に焦点を当てています。
一方、アイデンティティ強化モジュールは、入力写真から抽出された重要な特徴を保持します。
さらに，提案手法は少数の参照スタイルデータしか必要としない．
実験では、芸術性とアイデンティティ効果における最先端の方法に対する StyleIdentityGAN の優位性が実証されており、比較は質的、量的、および知覚的なユーザー研究を通じて行われています。
コードは Github3 で公開されています。

要約(オリジナル)

Nowadays, the wide application of virtual digital human promotes the comprehensive prosperity and development of digital culture supported by digital economy. The personalized portrait automatically generated by AI technology needs both the natural artistic style and human sentiment. In this paper, we propose a novel StyleIdentityGAN model, which can ensure the identity and artistry of the generated portrait at the same time. Specifically, the style-enhanced module focuses on artistic style features decoupling and transferring to improve the artistry of generated virtual face images. Meanwhile, the identity-enhanced module preserves the significant features extracted from the input photo. Furthermore, the proposed method requires a small number of reference style data. Experiments demonstrate the superiority of StyleIdentityGAN over state-of-art methods in artistry and identity effects, with comparisons done qualitatively, quantitatively and through a perceptual user study. Code has been released on Github3.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google