A Gauss-Newton Approach for Min-Max Optimization in Generative Adversarial Networks

要約

敵対的生成ネットワーク (GAN) をトレーニングするための新しい一次手法が提案されています。
これは、最小-最大ヘシアンを近似するためにガウス-ニュートン法を修正し、シャーマン-モリソン逆関数を使用して逆関数を計算します。
この方法は、必要な縮小を保証する固定小数点法に対応します。
その有効性を評価するために、MNIST、ファッション MNIST、CIFAR10、FFHQ、LSUN など、画像生成タスクで一般的に使用されるさまざまなデータセットに対して数値実験が行われます。
私たちの方法は、複数のデータセットにわたってより多様性に富んだ高忠実度の画像を生成できます。
また、最先端の 2 次メソッドを含む、比較されたすべてのメソッドの中で CIFAR10 の最高の開始スコアも達成しています。
さらに、その実行時間は、一次 min-max メソッドの実行時間に匹敵します。

要約(オリジナル)

A novel first-order method is proposed for training generative adversarial networks (GANs). It modifies the Gauss-Newton method to approximate the min-max Hessian and uses the Sherman-Morrison inversion formula to calculate the inverse. The method corresponds to a fixed-point method that ensures necessary contraction. To evaluate its effectiveness, numerical experiments are conducted on various datasets commonly used in image generation tasks, such as MNIST, Fashion MNIST, CIFAR10, FFHQ, and LSUN. Our method is capable of generating high-fidelity images with greater diversity across multiple datasets. It also achieves the highest inception score for CIFAR10 among all compared methods, including state-of-the-art second-order methods. Additionally, its execution time is comparable to that of first-order min-max methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google