Cycle Encoding of a StyleGAN Encoder for Improved Reconstruction and Editability

要約

GAN反転は、入力画像を事前にトレーニングされたGANの潜在空間に反転することを目的としています。
GAN反転の最近の進歩にもかかわらず、歪みと編集可能性の間のトレードオフを軽減するための課題が残っています。つまり、入力画像を正確に再構築し、わずかな視覚的品質の低下で反転画像を編集します。
最近提案されたピボットチューニングモデルは、最初に入力画像をピボットコードと呼ばれる潜在コードに反転し、次に入力画像を正確にマッピングできるようにジェネレータを変更する2段階のアプローチを使用することにより、再構成と編集可能性に向けて大幅な進歩を遂げています。
ピボットコードに。
ここでは、ピボットコードを適切に設計することで、再構築と編集の両方を改善できることを示します。
高品質のピボットコードのために、サイクルエンコーディングと呼ばれるシンプルで効果的な方法を紹介します。
私たちの方法の重要なアイデアは、サイクルスキームに従ってさまざまなスペースでエンコーダを段階的にトレーニングすることです：W-> W+->W。
このトレーニング方法では、WスペースとW +スペースの両方のプロパティが保持されます。つまり、Wの編集性が高く、W+の歪みが低くなります。
歪みをさらに減らすために、最適化ベースの方法でピボットコードを改良することも提案します。この方法では、編集可能性の低下を減らすために正則化項が導入されます。
いくつかの最先端の方法との定性的および定量的な比較は、私たちのアプローチの優位性を示しています。

要約(オリジナル)

GAN inversion aims to invert an input image into the latent space of a pre-trained GAN. Despite the recent advances in GAN inversion, there remain challenges to mitigate the tradeoff between distortion and editability, i.e. reconstructing the input image accurately and editing the inverted image with a small visual quality drop. The recently proposed pivotal tuning model makes significant progress towards reconstruction and editability, by using a two-step approach that first inverts the input image into a latent code, called pivot code, and then alters the generator so that the input image can be accurately mapped into the pivot code. Here, we show that both reconstruction and editability can be improved by a proper design of the pivot code. We present a simple yet effective method, named cycle encoding, for a high-quality pivot code. The key idea of our method is to progressively train an encoder in varying spaces according to a cycle scheme: W->W+->W. This training methodology preserves the properties of both W and W+ spaces, i.e. high editability of W and low distortion of W+. To further decrease the distortion, we also propose to refine the pivot code with an optimization-based method, where a regularization term is introduced to reduce the degradation in editability. Qualitative and quantitative comparisons to several state-of-the-art methods demonstrate the superiority of our approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google