EAGAN: Efficient Two-stage Evolutionary Architecture Search for GANs

要約

生成的敵対的ネットワーク（GAN）は、画像生成タスクで成功することが証明されています。
ただし、GANトレーニングは本質的に不安定です。
多くの作品はGANアーキテクチャを手動で変更することで安定させようとしていますが、多くの専門知識が必要です。
ニューラルアーキテクチャ検索（NAS）は、GANを自動的に検索するための魅力的なソリューションになりました。
初期のNAS-GANはジェネレーターのみを検索して検索の複雑さを軽減しますが、GANは最適ではありません。
最近のいくつかの作品は、ジェネレーター（G）とディスクリミネーター（D）の両方を検索しようとしますが、GANトレーニングの不安定さに悩まされています。
不安定性を軽減するために、GAN、つまりEAGANを検索するための効率的な2段階の進化的アルゴリズムベースのNASフレームワークを提案します。
GとDの検索を2つのステージに分離します。ここで、ステージ1は固定DでGを検索し、多対1のトレーニング戦略を採用し、ステージ2はステージ1で見つかった最適なGでDを検索し、採用します。
GANトレーニングの安定性を高めるための1対1のトレーニングと体重リセットの戦略。
どちらの段階でも、非優勢の並べ替え方法を使用して、複数の目的（モデルサイズ、開始スコア（IS）、Fr \’echet開始距離（FID）など）の下でパレートフロントアーキテクチャを生成します。
EAGANは無条件の画像生成タスクに適用され、1.2GPU日でCIFAR-10データセットの検索を効率的に完了することができます。
検索されたGANは、CIFAR-10データセットで競争力のある結果（IS = 8.81 $ \ pm $ 0.10、FID = 9.91）を達成し、STL-10データセットで以前のNAS-GAN（IS = 10.44 $ \ pm $ 0.087、FID = 22.18）を上回ります。
。
ソースコード：https：//github.com/marsggbo/EAGAN。

要約(オリジナル)

Generative adversarial networks (GANs) have proven successful in image generation tasks. However, GAN training is inherently unstable. Although many works try to stabilize it by manually modifying GAN architecture, it requires much expertise. Neural architecture search (NAS) has become an attractive solution to search GANs automatically. The early NAS-GANs search only generators to reduce search complexity but lead to a sub-optimal GAN. Some recent works try to search both generator (G) and discriminator (D), but they suffer from the instability of GAN training. To alleviate the instability, we propose an efficient two-stage evolutionary algorithm-based NAS framework to search GANs, namely EAGAN. We decouple the search of G and D into two stages, where stage-1 searches G with a fixed D and adopts the many-to-one training strategy, and stage-2 searches D with the optimal G found in stage-1 and adopts the one-to-one training and weight-resetting strategies to enhance the stability of GAN training. Both stages use the non-dominated sorting method to produce Pareto-front architectures under multiple objectives (e.g., model size, Inception Score (IS), and Fr\’echet Inception Distance (FID)). EAGAN is applied to the unconditional image generation task and can efficiently finish the search on the CIFAR-10 dataset in 1.2 GPU days. Our searched GANs achieve competitive results (IS=8.81$\pm$0.10, FID=9.91) on the CIFAR-10 dataset and surpass prior NAS-GANs on the STL-10 dataset (IS=10.44$\pm$0.087, FID=22.18). Source code: https://github.com/marsggbo/EAGAN.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google