Private GANs, Revisited

要約

本稿では、DPSGD（Differentially Private stochastic gradient descent）を用いて識別器を更新することで、従来のGANの学習方法を大幅に改善することができることを示す。この手法の既存の例では、識別器の更新にのみノイズを加えることで、GANの学習に必要な生成器と識別器の間の慎重なバランスがどのように崩れるかを考慮しないままである。我々は、生成器と識別器の間のステップ数を増やすという簡単な修正で、パリティを回復し、結果を改善できることを示す。さらに、生成器と識別器の間のパリティを回復させることを目的として、識別器の学習を改善するための他の修正についても実験を行い、生成品質のさらなる改善を確認した。その結果、標準的なベンチマークにおいて、DPSGDはすべての代替的なGAN私有化スキームを凌駕することが実証されました。

要約(オリジナル)

We show that the canonical approach for training differentially private GANs — updating the discriminator with differentially private stochastic gradient descent (DPSGD) — can yield significantly improved results after modifications to training. Existing instantiations of this approach neglect to consider how adding noise only to discriminator updates disrupts the careful balance between the generator and discriminator necessary for successful GAN training. We show that a simple fix — taking more discriminator steps between generator steps — restores parity and improves results. Additionally, with the goal of restoring parity between the generator and discriminator, we experiment with other modifications to improve discriminator training and see further improvements in generation quality. Our results demonstrate that on standard benchmarks, DPSGD outperforms all alternative GAN privatization schemes.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL