Stable Parallel Training of Wasserstein Conditional Generative Adversarial Neural Networks

要約

固定された計算予算の制約の下でWasserstein条件付き生成的敵対的ニューラルネットワーク（W-CGAN）をトレーニングするための安定した並列アプローチを提案します。
以前の分散GANトレーニング手法とは異なり、このアプローチでは、プロセス間通信を回避し、モード崩壊のリスクを軽減し、複数のジェネレーターを使用してスケーラビリティを強化します。各ジェネレーターは、単一のデータラベルで同時にトレーニングされます。
ワッサースタインメトリックを使用すると、各ジェネレーターのトレーニングが安定するため、サイクリングのリスクも軽減されます。
各データセットの画像の元の解像度を維持しながら、3つの標準ベンチマーク画像データセットであるCIFAR10、CIFAR100、およびImageNet1kデータセットでのアプローチを説明します。
パフォーマンスは、限られた固定計算時間と計算リソース内でのスケーラビリティと最終精度の観点から評価されます。
精度を測定するために、開始スコア、フレシェ開始距離、および画質を使用します。
深い畳み込み条件付き生成的敵対的ニューラルネットワーク（DC-CGAN）で並列アプローチを実行することによって得られた以前の結果と比較して、開始スコアとフレシェ開始距離の改善、およびによって作成された新しい画像の画質の改善が示されています。
GANがアプローチします。
弱いスケーリングは、OLCFスーパーコンピューターサミットで最大2,000のNVIDIAV100GPUを使用して両方のデータセットで達成されます。

要約(オリジナル)

We propose a stable, parallel approach to train Wasserstein Conditional Generative Adversarial Neural Networks (W-CGANs) under the constraint of a fixed computational budget. Differently from previous distributed GANs training techniques, our approach avoids inter-process communications, reduces the risk of mode collapse and enhances scalability by using multiple generators, each one of them concurrently trained on a single data label. The use of the Wasserstein metric also reduces the risk of cycling by stabilizing the training of each generator. We illustrate the approach on the CIFAR10, CIFAR100, and ImageNet1k datasets, three standard benchmark image datasets, maintaining the original resolution of the images for each dataset. Performance is assessed in terms of scalability and final accuracy within a limited fixed computational time and computational resources. To measure accuracy, we use the inception score, the Frechet inception distance, and image quality. An improvement in inception score and Frechet inception distance is shown in comparison to previous results obtained by performing the parallel approach on deep convolutional conditional generative adversarial neural networks (DC-CGANs) as well as an improvement of image quality of the new images created by the GANs approach. Weak scaling is attained on both datasets using up to 2,000 NVIDIA V100 GPUs on the OLCF supercomputer Summit.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google