Semantic Text-to-Face GAN -ST^2FG

要約

敵対的生成ネットワーク (GAN) を使用して生成された顔は、前例のないリアリズムに達しています。
これらの顔は「ディープ フェイク」とも呼ばれ、ピクセル レベルの歪みがほとんどないリアルな写真のように見えます。
いくつかの研究により、対象の特定の特性の生成につながるモデルのトレーニングが可能になりましたが、自然言語の説明に基づいて顔画像を生成することは完全には検討されていません。
セキュリティと犯罪者の識別のために、スケッチ アーティストのように機能する GAN ベースのシステムを提供できると非常に便利です。
この論文では、セマンティックテキストの説明から顔画像を生成するための新しいアプローチを紹介します。
学習したモデルには、テキストによる説明と、顔のタイプの概要が提供されます。モデルはこれを使用して、特徴をスケッチします。
私たちのモデルは、アフィン結合モジュール (ACM) メカニズムを使用してトレーニングされ、自己注意マトリックスを使用して、BERT からのテキスト埋め込みと GAN 潜在空間を結合します。
これにより、テキスト埋め込みと潜在ベクトルが単純に連結された場合に発生する可能性のある不適切な「注意」による機能の損失が回避されます。
私たちのアプローチは、顔の多くの詳細な特徴を持つ顔の徹底的なテキスト記述に非常に正確に配置された画像を生成することができ、より良い画像を生成するのに役立ちます.
提案された方法は、追加のテキスト説明または文が提供されている場合、以前に生成された画像に増分変更を加えることもできます。

要約(オリジナル)

Faces generated using generative adversarial networks (GANs) have reached unprecedented realism. These faces, also known as ‘Deep Fakes’, appear as realistic photographs with very little pixel-level distortions. While some work has enabled the training of models that lead to the generation of specific properties of the subject, generating a facial image based on a natural language description has not been fully explored. For security and criminal identification, the ability to provide a GAN-based system that works like a sketch artist would be incredibly useful. In this paper, we present a novel approach to generate facial images from semantic text descriptions. The learned model is provided with a text description and an outline of the type of face, which the model uses to sketch the features. Our models are trained using an Affine Combination Module (ACM) mechanism to combine the text embedding from BERT and the GAN latent space using a self-attention matrix. This avoids the loss of features due to inadequate ‘attention’, which may happen if text embedding and latent vector are simply concatenated. Our approach is capable of generating images that are very accurately aligned to the exhaustive textual descriptions of faces with many fine detail features of the face and helps in generating better images. The proposed method is also capable of making incremental changes to a previously generated image if it is provided with additional textual descriptions or sentences.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google