Identity-preserving Editing of Multiple Facial Attributes by Learning Global Edit Directions and Local Adjustments

要約

事前トレーニングされた敵対的生成ネットワーク (GAN) を使用したセマンティックな顔属性編集は、近年研究者から多大な注目と努力を集めています。
StyleGAN によって生成される顔画像の品質が高いため、StyleGAN の潜在空間と顔画像編集のための提案された方法に多くの研究が焦点を当ててきました。
これらの方法は、ユーザーが意図した属性を操作する場合に満足のいく結果を達成しましたが、重要な課題であるアイデンティティを保持するという目標は達成できませんでした。
属性操作中の ID 損失の問題に対処できる新しいアーキテクチャである ID-Style を紹介します。
ID-Style の主要コンポーネントには、各属性の共有および半疎な方向を見つける学習可能なグローバル方向 (LGD) と、入力インスタンスに従ってグローバルな方向を微調整するインスタンス認識強度予測子 (IAIP) ネットワークが含まれます。
。
さらに、トレーニング中に 2 つの損失を導入して、LGD に半疎のセマンティック方向を検索させ、IAIP とともに入力インスタンスのアイデンティティを保持します。
同様の最先端の作品と比較して、ネットワークのサイズを約 95% 縮小しているにもかかわらず、アイデンティティ保持メトリック (FRS) と平均操作精度 (mACC) でそれぞれベースラインを 10% と 7% 上回っています。
。

要約(オリジナル)

Semantic facial attribute editing using pre-trained Generative Adversarial Networks (GANs) has attracted a great deal of attention and effort from researchers in recent years. Due to the high quality of face images generated by StyleGANs, much work has focused on the StyleGANs’ latent space and the proposed methods for facial image editing. Although these methods have achieved satisfying results for manipulating user-intended attributes, they have not fulfilled the goal of preserving the identity, which is an important challenge. We present ID-Style, a new architecture capable of addressing the problem of identity loss during attribute manipulation. The key components of ID-Style include Learnable Global Direction (LGD), which finds a shared and semi-sparse direction for each attribute, and an Instance-Aware Intensity Predictor (IAIP) network, which finetunes the global direction according to the input instance. Furthermore, we introduce two losses during training to enforce the LGD to find semi-sparse semantic directions, which along with the IAIP, preserve the identity of the input instance. Despite reducing the size of the network by roughly 95% as compared to similar state-of-the-art works, it outperforms baselines by 10% and 7% in Identity preserving metric (FRS) and average accuracy of manipulation (mACC), respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google