Fast-Slow Co-advancing Optimizer: Toward Harmonious Adversarial Training of GAN

要約

これまで、特にトレーニングセットの全体的な分散が大きい場合、典型的な生成敵対的ネットワーク（GAN）のトレーニングプロセスは、データプロパティとハイパーパラメーターに特に敏感であり、収束の困難さ、または収束の障害にさえつながる可能性があります。
これらの現象は、多くの場合、そのようなネットワークのトレーニング特性に起因します。
この問題を目指して、このペーパーでは、新しいインテリジェントなオプティマイザー、高速スローの共同アドバンスオプティマイザー（FSCO）を開発します。これは、トレーニングを容易にするためにGANのトレーニングプロセスで強化学習を採用しています。
具体的には、このペーパーでは、トレーニングステップサイズをエージェントによって制御してトレーニングの安定性を改善することを可能にし、トレーニングプロセスをさまざまな学習レートでよりインテリジェントにし、GANがステップサイズに敏感になります。
開発されたFSCOの有効性を検証するために、3つのベンチマークデータセットで実験が行われました。

要約(オリジナル)

Up to now, the training processes of typical Generative Adversarial Networks (GANs) are still particularly sensitive to data properties and hyperparameters, which may lead to severe oscillations, difficulties in convergence, or even failures to converge, especially when the overall variances of the training sets are large. These phenomena are often attributed to the training characteristics of such networks. Aiming at the problem, this paper develops a new intelligent optimizer, Fast-Slow Co-advancing Optimizer (FSCO), which employs reinforcement learning in the training process of GANs to make training easier. Specifically, this paper allows the training step size to be controlled by an agent to improve training stability, and makes the training process more intelligent with variable learning rates, making GANs less sensitive to step size. Experiments have been conducted on three benchmark datasets to verify the effectiveness of the developed FSCO.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google