LinkGAN: Linking GAN Latents to Pixels for Controllable Image Synthesis

要約

この作業は、合成で潜在空間のいくつかの軸を画像領域またはセマンティック カテゴリ (空など) に明示的にリンクするのに役立つ、GAN トレーニング用の使いやすい正則化を示します。
このような接続を確立すると、GAN 生成のより便利なローカル制御が容易になり、ユーザーは潜在コードを部分的に再サンプリングするだけで、空間領域内でのみ画像コンテンツを変更できます。
実験結果は、私たちが LinkGAN と呼んでいる正則化子の 4 つの魅力的な特性を確認しています。
(1) 領域がトレーニング前に事前に選択され、すべてのインスタンスに対して固定されている場合でも、任意の画像領域を潜在空間にリンクできます。
(2) 2 つまたは複数の領域を異なる潜在軸に独立してリンクできるため、驚くべきことに、合成された画像をトークン化して制御できます。
(3) 私たちの正則化機能は、合成パフォーマンスをほとんど犠牲にすることなく、2D と 3D の両方の GAN モデルの空間制御性を向上させることができます。
(4) レギュラーライザーでトレーニングされたモデルは、GAN 反転技術と互換性があり、実際の画像の編集可能性を維持します

要約(オリジナル)

This work presents an easy-to-use regularizer for GAN training, which helps explicitly link some axes of the latent space to an image region or a semantic category (e.g., sky) in the synthesis. Establishing such a connection facilitates a more convenient local control of GAN generation, where users can alter image content only within a spatial area simply by partially resampling the latent codes. Experimental results confirm four appealing properties of our regularizer, which we call LinkGAN. (1) Any image region can be linked to the latent space, even if the region is pre-selected before training and fixed for all instances. (2) Two or multiple regions can be independently linked to different latent axes, surprisingly allowing tokenized control of synthesized images. (3) Our regularizer can improve the spatial controllability of both 2D and 3D GAN models, barely sacrificing the synthesis performance. (4) The models trained with our regularizer are compatible with GAN inversion techniques and maintain editability on real images

arxiv情報

提供元, 利用サービス

arxiv.jp, Google