Augmentation-Aware Self-Supervision for Data-Efficient GAN Training

要約

弁別器は過剰適合する傾向があるため、限られたデータで敵対的生成ネットワーク (GAN) をトレーニングするのは困難です。
以前に提案された微分可能拡張は、GAN のトレーニングのデータ効率の向上を示しています。
ただし、拡張は、データ変換によって引き起こされるラベル空間のセマンティクスの変更を無視するため、識別子の拡張に望ましくない不変性を暗黙的に導入します。これにより、識別子の表現学習能力が制限され、最終的にジェネレーターの生成モデリングのパフォーマンスに影響を与える可能性があります。
データ拡張の利点を継承しながら不変性の悪影響を軽減するために、拡張データの拡張パラメーターを予測する新しい拡張認識自己教師あり識別器を提案します。
特に、実データと生成データの予測対象は学習時に異なるため、区別する必要がある。
さらに、ジェネレーターが、拡張予測可能な偽ではない本物のデータを生成することによって、自己教師ありディスクリミネーターから敵対的に学習することを奨励します。
この定式化は、ジェネレーターの学習目標と、特定の仮定の下での算術$-$調和平均発散を結び付けます。
データが制限された CIFAR-10、CIFAR-100、FFHQ、LSUN-Cat、および 5 つのローショット データセットで、クラス条件付き BigGAN および無条件 StyleGAN2 アーキテクチャを使用して、私たちの手法を最先端 (SOTA) 手法と比較します。
。
実験結果は、データ効率の高い GAN のトレーニングにおいて、SOTA メソッドに比べて私たちのメソッドが大幅に改善されていることを示しています。

要約(オリジナル)

Training generative adversarial networks (GANs) with limited data is challenging because discriminator is prone to overfitting. Previously proposed differentiable augmentation demonstrates improved data efficiency of training GANs. However, the augmentation implicitly introduces undesired invariance to augmentation for the discriminator since it ignores the change of semantics in the label space caused by data transformation, which may limit the representation learning ability of the discriminator and ultimately affect the generative modeling performance of the generator. To mitigate the negative impact of invariance while inheriting the benefits of data augmentation, we propose a novel augmentation-aware self-supervised discriminator that predicts the augmentation parameter of the augmented data. Particularly, the prediction targets of real data and generated data are required to be distinguished since they are different during training. We further encourage the generator to adversarially learn from the self-supervised discriminator by generating augmentation-predictable real but not fake data. This formulation connects the learning objective of the generator and the arithmetic$-$harmonic mean divergence under certain assumptions. We compare our method with state-of-the-art (SOTA) methods using the class-conditional BigGAN and unconditional StyleGAN2 architectures on data-limited CIFAR-10, CIFAR-100, FFHQ, LSUN-Cat, and five low-shot datasets. Experimental results demonstrate significant improvements of our method over SOTA methods in training data-efficient GANs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google