SeCGAN: Parallel Conditional Generative Adversarial Networks for Face Editing via Semantic Consistency

要約

意味的にガイドされた条件付き生成的敵対的ネットワーク（cGAN）は、近年、顔編集の一般的なアプローチになっています。
ただし、ほとんどの既存のメソッドは、ジェネレータへの直接の条件付き入力としてセマンティックマスクを導入し、多くの場合、RGB空間で対応する変換を実行するためにターゲットマスクを必要とします。
ターゲットセマンティックマスクを指定せずにセマンティック情報を利用して顔画像を編集するための新しいラベルガイドcGANであるSeCGANを提案します。
トレーニング中、SecGANにはジェネレータとディスクリミネータの2つのブランチが並行して動作し、1つはRGB画像を変換するようにトレーニングされ、もう1つはセマンティックマスク用にトレーニングされます。
相互に有益な方法で2つのブランチをブリッジするために、両方のブランチが一貫したセマンティック出力を持つように制約するセマンティック整合性損失を導入します。
トレーニング中に両方のブランチが必要ですが、RGBブランチはプライマリネットワークであり、推論にはセマンティックブランチは必要ありません。
CelebAとCelebA-HQに関する私たちの結果は、私たちのアプローチが、自己監視されたFr \'{e} chet Inceptionなどの品質メトリックを維持しながら、ターゲット属性認識率の点で競合ベースラインを上回り、より正確な属性を持つ顔画像を生成できることを示しています。
距離と開始スコア。

要約(オリジナル)

Semantically guided conditional Generative Adversarial Networks (cGANs) have become a popular approach for face editing in recent years. However, most existing methods introduce semantic masks as direct conditional inputs to the generator and often require the target masks to perform the corresponding translation in the RGB space. We propose SeCGAN, a novel label-guided cGAN for editing face images utilising semantic information without the need to specify target semantic masks. During training, SeCGAN has two branches of generators and discriminators operating in parallel, with one trained to translate RGB images and the other for semantic masks. To bridge the two branches in a mutually beneficial manner, we introduce a semantic consistency loss which constrains both branches to have consistent semantic outputs. Whilst both branches are required during training, the RGB branch is our primary network and the semantic branch is not needed for inference. Our results on CelebA and CelebA-HQ demonstrate that our approach is able to generate facial images with more accurate attributes, outperforming competitive baselines in terms of Target Attribute Recognition Rate whilst maintaining quality metrics such as self-supervised Fr\'{e}chet Inception Distance and Inception Score.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google