Diverse Similarity Encoder for Deep GAN Inversion

要約

現在のディープ敵対的生成ネットワーク (GAN) は高品質 (HQ) 画像を合成できるため、GAN による学習表現は有利です。
GAN 反転は、画像を潜在空間に反転する方法を研究する新しいアプローチの 1 つです。
既存の GAN エンコーダーは、StyleGAN 上の画像を反転できますが、他のディープ GAN に適応することはできません。
この問題に対処するための新しいアプローチを提案します。
潜在ベクトルと画像の多様な類似性を評価することにより、多様な類似性エンコーダー (DSE) と呼ばれる、さまざまな最先端の GAN に拡張できる適応エンコーダーを設計します。
DSE を使用すると、GAN は合成画像か実際の画像かに関係なく、HQ 画像からより忠実度の高い画像を再構築できます。
DSE は統合された畳み込みブロックを備えており、PGGAN、StyleGAN、BigGAN などの主流のディープ GAN によく適応します。

要約(オリジナル)

Current deep generative adversarial networks (GANs) can synthesize high-quality (HQ) images, so learning representation with GANs is favorable. GAN inversion is one of emerging approaches that study how to invert images into latent space. Existing GAN encoders can invert images on StyleGAN, but cannot adapt to other deep GANs. We propose a novel approach to address this issue. By evaluating diverse similarity in latent vectors and images, we design an adaptive encoder, named diverse similarity encoder (DSE), that can be expanded to a variety of state-of-the-art GANs. DSE makes GANs reconstruct higher fidelity images from HQ images, no matter whether they are synthesized or real images. DSE has unified convolutional blocks and adapts well to mainstream deep GANs, e.g., PGGAN, StyleGAN, and BigGAN.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google