FakeCLR: Exploring Contrastive Learning for Solving Latent Discontinuity in Data-Efficient GANs

要約

限られた量のトレーニングデータで生成モデルを学習することを目的としたデータ効率の高いGAN（DE-GAN）は、高品質のサンプルを生成するためのいくつかの課題に直面します。
データ拡張戦略によりトレーニングの不安定性が大幅に軽減されたため、DE-GANの生成パフォーマンスをさらに改善する方法がホットスポットになります。
最近、対照的な学習は、DE-GANの合成品質を向上させる大きな可能性を示していますが、関連する原理は十分に検討されていません。
このホワイトペーパーでは、DE-GANのさまざまな対照的な学習戦略を再検討して比較し、次のことを特定します。（i）生成パフォーマンスの現在のボトルネックは潜在空間の不連続性です。
（ii）他の対照的な学習戦略と比較して、インスタンス摂動は潜在空間の連続性に向けて機能し、DE-GANに大きな改善をもたらします。
これらの観察に基づいて、摂動された偽のサンプルにのみ対照的な学習を適用するFakeCLRを提案し、ノイズ関連の潜在的増強、多様性を意識したキュー、およびキューの忘却係数の3つの関連するトレーニング手法を考案します。
私たちの実験結果は、数ショットの生成と限られたデータの生成の両方で新しい最先端技術を明らかにしています。
複数のデータセットで、FakeCLRは既存のDE-GANと比較して15％以上のFIDの改善を獲得します。
コードはhttps://github.com/iceli1007/FakeCLRで入手できます。

要約(オリジナル)

Data-Efficient GANs (DE-GANs), which aim to learn generative models with a limited amount of training data, encounter several challenges for generating high-quality samples. Since data augmentation strategies have largely alleviated the training instability, how to further improve the generative performance of DE-GANs becomes a hotspot. Recently, contrastive learning has shown the great potential of increasing the synthesis quality of DE-GANs, yet related principles are not well explored. In this paper, we revisit and compare different contrastive learning strategies in DE-GANs, and identify (i) the current bottleneck of generative performance is the discontinuity of latent space; (ii) compared to other contrastive learning strategies, Instance-perturbation works towards latent space continuity, which brings the major improvement to DE-GANs. Based on these observations, we propose FakeCLR, which only applies contrastive learning on perturbed fake samples, and devises three related training techniques: Noise-related Latent Augmentation, Diversity-aware Queue, and Forgetting Factor of Queue. Our experimental results manifest the new state of the arts on both few-shot generation and limited-data generation. On multiple datasets, FakeCLR acquires more than 15% FID improvement compared to existing DE-GANs. Code is available at https://github.com/iceli1007/FakeCLR.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google