SC2GAN: Rethinking Entanglement by Self-correcting Correlated GAN Space

要約

Generative Adversarial Networks (GAN) は、さまざまな解釈可能な方向で豊富な意味情報をエンコードすることが示されている学習された潜在空間を使用して、現実的な画像を合成できます。
ただし、学習された潜在空間の構造化されていない性質により、因果関係のない視覚的属性の特定のグループが一緒に出現する傾向があるトレーニング データからのバイアスを引き継ぎます。この現象は、年齢と眼鏡などの偽の相関としても知られています。
あるいは女性と口紅。
その結果、学習された分布には、欠落している例の適切なモデリングが欠けていることがよくあります。
1 つの属性の編集指示に従って補間すると、他の属性との変更が絡み合う可能性があります。
この問題に対処するために、従来の研究では通常、他の属性の変化を最小限に抑えるために学習された方向を調整していましたが、それでも相関の強い特徴では失敗していました。
この研究では、StyleGAN2-FFHQ モデルのトレーニング データと学習された潜在空間の両方におけるもつれの問題を研究します。
我々は、低密度の潜在コードサンプルを元の潜在空間に再投影し、高密度領域と低密度領域の両方に基づいて編集方向を修正することで、もつれを解く新しいフレームワークSC$^2$GANを提案します。
元の意味のある方向と意味領域固有のレイヤーを活用することで、私たちのフレームワークは元の潜在コードを補間して、まれに出現する属性の組み合わせを持つ画像を生成し、これらのサンプルを元の潜在空間に反転させます。
私たちのフレームワークを、意味のある潜在的な方向を学習する既存の手法に適用し、少量の低密度領域サンプルを追加して属性を解きほぐす強力な機能を紹介します。

要約(オリジナル)

Generative Adversarial Networks (GANs) can synthesize realistic images, with the learned latent space shown to encode rich semantic information with various interpretable directions. However, due to the unstructured nature of the learned latent space, it inherits the bias from the training data where specific groups of visual attributes that are not causally related tend to appear together, a phenomenon also known as spurious correlations, e.g., age and eyeglasses or women and lipsticks. Consequently, the learned distribution often lacks the proper modelling of the missing examples. The interpolation following editing directions for one attribute could result in entangled changes with other attributes. To address this problem, previous works typically adjust the learned directions to minimize the changes in other attributes, yet they still fail on strongly correlated features. In this work, we study the entanglement issue in both the training data and the learned latent space for the StyleGAN2-FFHQ model. We propose a novel framework SC$^2$GAN that achieves disentanglement by re-projecting low-density latent code samples in the original latent space and correcting the editing directions based on both the high-density and low-density regions. By leveraging the original meaningful directions and semantic region-specific layers, our framework interpolates the original latent codes to generate images with attribute combination that appears infrequently, then inverts these samples back to the original latent space. We apply our framework to pre-existing methods that learn meaningful latent directions and showcase its strong capability to disentangle the attributes with small amounts of low-density region samples added.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google