Adaptive Consensus Optimization Method for GANs

要約

タイトル：GANのための適応的コンセンサス最適化方法

要約：
– 提案された方法は、ジェネレーティブ対抗ネットワークのトレーニングについて考えられた、ADAMとRMSpropに基づく2次勾配に基づく手法。この方法は、主要な2次勾配手法と同様の精度を短時間で得ることができる。
– 著者らは、提案手法に対応する固定点反復の導出を行い、提案手法が収束することを示した。また、提案手法は他の最近提案された最新の2次勾配手法に比べて、より良いまたは比較可能なインセプションスコアと、同等の画像品質を生成することができる。
– さらに、ADAMなどの1次勾配手法と比較すると、提案手法は著しく優れたインセプションスコアを発揮する。
– 提案手法は、画像生成タスクのための人気のあるデータセットであるFFHQ、LSUN、CIFAR10、MNIST、そしてFashion MNISTで比較・検証された。提供されたコードは https://github.com/misterpawan/acom に掲載されている。
– なお、本論文は IJCNN 2023 で採択された。

要約(オリジナル)

We propose a second order gradient based method with ADAM and RMSprop for the training of generative adversarial networks. The proposed method is fastest to obtain similar accuracy when compared to prominent second order methods. Unlike state-of-the-art recent methods, it does not require solving a linear system, or it does not require additional mixed second derivative terms. We derive the fixed point iteration corresponding to proposed method, and show that the proposed method is convergent. The proposed method produces better or comparable inception scores, and comparable quality of images compared to other recently proposed state-of-the-art second order methods. Compared to first order methods such as ADAM, it produces significantly better inception scores. The proposed method is compared and validated on popular datasets such as FFHQ, LSUN, CIFAR10, MNIST, and Fashion MNIST for image generation tasks\footnote{Accepted in IJCNN 2023}. Codes: \url{https://github.com/misterpawan/acom}

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI