A method for escaping limit cycles in training GANs

要約

この論文では主に、提案された予測求心加速アルゴリズム (PCAA) を通じて敵対的生成ネットワーク (GAN) をトレーニングする際のリミット サイクリング動作の問題を軽減するためのさらなる研究を実施します。
具体的には、まず一般的な双線形ゲームの PCAA の最終反復収束率の上限と下限を導出します。上限は以前の結果より著しく改善されています。
次に、PCAA と適応モーメント推定アルゴリズム (Adam) を組み合わせて、GAN をトレーニングするための実用的なアプローチである PCAA-Adam を提案します。
最後に、双線形ゲーム、多変量ガウス分布、CelebA データセットに対してそれぞれ実行された実験を通じて、提案されたアルゴリズムの有効性を検証します。

要約(オリジナル)

This paper mainly conducts further research to alleviate the issue of limit cycling behavior in training generative adversarial networks (GANs) through the proposed predictive centripetal acceleration algorithm (PCAA). Specifically, we first derive the upper and lower bounds on the last-iterate convergence rates of PCAA for the general bilinear game, with the upper bound notably improving upon previous results. Then, we combine PCAA with the adaptive moment estimation algorithm (Adam) to propose PCAA-Adam, a practical approach for training GANs. Finally, we validate the effectiveness of the proposed algorithm through experiments conducted on bilinear games, multivariate Gaussian distributions, and the CelebA dataset, respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google