Double Dynamic Sparse Training for GANs

要約

過去 10 年間で、現代のディープ ニューラル ネットワーク (DNN) のサイズが劇的に増加し、特に敵対的生成ネットワーク (GAN) のサイズが大幅に増加しました。
GAN は通常、高い計算の複雑さに悩まされているため、研究者は、GAN のトレーニングと推論のコストを削減するために枝刈り法を適用することへの関心が高まっていることを示しています。
教師あり学習のために考案されたさまざまな枝刈り手法の中で、事後枝刈りに匹敵するパフォーマンスで優れたトレーニング効率を実現する動的スパース トレーニング (DST) が最近注目を集めています。
したがって、GANにDSTを適用すると、トレーニング全体で固定パラメータ数を使用してスパースGANをトレーニングすることは、GANトレーニングコストを削減するための良い候補と思われます.
ただし、GAN の敵対的な性質により、トレーニングの不安定性を低下させるなど、いくつかの課題が生じます。
したがって、バランス比（BR）と呼ばれる量を導入して、ジェネレーターとディスクリミネーターのバランスを定量化します。
スパース GAN トレーニングを理解する上での BR の重要性を示すために、一連の実験を行います。
トレーニング中にジェネレーターのみが調整されるシングル ダイナミック スパース トレーニング (SDST) に基づいて、GAN トレーニング中に BR を制御するダブル ダイナミック スパース トレーニング (DDST) を提案します。
経験的に、DDST はディスクリミネーターの密度を自動的に決定し、複数のデータセットでスパース GAN のパフォーマンスを大幅に向上させます。

要約(オリジナル)

The past decade has witnessed a drastic increase in modern deep neural networks (DNNs) size, especially for generative adversarial networks (GANs). Since GANs usually suffer from high computational complexity, researchers have shown an increased interest in applying pruning methods to reduce the training and inference costs of GANs. Among different pruning methods invented for supervised learning, dynamic sparse training (DST) has gained increasing attention recently as it enjoys excellent training efficiency with comparable performance to post-hoc pruning. Hence, applying DST on GANs, where we train a sparse GAN with a fixed parameter count throughout training, seems to be a good candidate for reducing GAN training costs. However, a few challenges, including the degrading training instability, emerge due to the adversarial nature of GANs. Hence, we introduce a quantity called balance ratio (BR) to quantify the balance of the generator and the discriminator. We conduct a series of experiments to show the importance of BR in understanding sparse GAN training. Building upon single dynamic sparse training (SDST), where only the generator is adjusted during training, we propose double dynamic sparse training (DDST) to control the BR during GAN training. Empirically, DDST automatically determines the density of the discriminator and greatly boosts the performance of sparse GANs on multiple datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google