Improving generative adversarial network inversion via fine-tuning GAN encoders

要約

敵対的生成ネットワーク (GAN) は高品質 (HQ) の画像を合成できます。GAN 反転は、与えられた画像を反転して潜在空間に戻す方法を発見する技術です。
既存のメソッドは StyleGAN 反転で実行されますが、パフォーマンスが限られており、さまざまな GAN に汎用化されていません。
これらの問題に対処するために、私たちは GAN エンコーダーを事前トレーニングして微調整するための自己教師ありの方法を提案しました。
まず、多様な GAN を反転するためのさまざまなエンコーダ アーキテクチャに適合する適応ブロックを設計しました。
次に、合成画像を使用して GAN エンコーダーを事前トレーニングし、画像のトリミングを通じて局所領域を強調します。
最後に、実際の画像を反転するために事前トレーニングされた GAN エンコーダーを微調整します。
最先端の方法と比較して、私たちの方法は主流の GAN 上で高品質の画像を再構成するというより良い結果を達成しました。
私たちのコードと事前トレーニングされたモデルは、https://github.com/disanda/Deep-GAN-Encoders から入手できます。

要約(オリジナル)

Generative adversarial networks (GANs) can synthesize high-quality (HQ) images, and GAN inversion is a technique that discovers how to invert given images back to latent space. While existing methods perform on StyleGAN inversion, they have limited performance and are not generalized to different GANs. To address these issues, we proposed a self-supervised method to pre-train and fine-tune GAN encoders. First, we designed an adaptive block to fit different encoder architectures for inverting diverse GANs. Then we pre-train GAN encoders using synthesized images and emphasize local regions through cropping images. Finally, we fine-tune the pre-trained GAN encoder for inverting real images. Compared with state-of-the-art methods, our method achieved better results that reconstructed high-quality images on mainstream GANs. Our code and pre-trained models are available at: https://github.com/disanda/Deep-GAN-Encoders.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google