LEAD: Min-Max Optimization from a Physical Perspective

要約

Generative Adversarial Network (GAN) などの敵対的定式化により、2 プレイヤーのミニマックス ゲームへの関心が再燃しています。
このようなゲームの最適化における中心的な障害は、ゲームの収束を妨げる回転ダイナミクスです。
この論文では、ゲームの最適化が複数の力の影響を受ける粒子システムと動的特性を共有し、物理学のツールを活用して最適化のダイナミクスを改善できることを示します。
物理フレームワークからインスピレーションを得て、ミニマックス ゲーム用のオプティマイザーである LEAD を提案します。
次に、リアプノフ安定性理論とスペクトル解析を使用して、二次最小-最大ゲームのクラスの連続および離散時間設定における LEAD の収束特性を研究し、ナッシュ均衡への線形収束を実証します。
最後に、合成セットアップと CIFAR-10 画像生成に関する手法を経験的に評価し、GAN トレーニングの改善を実証します。

要約(オリジナル)

Adversarial formulations such as generative adversarial networks (GANs) have rekindled interest in two-player min-max games. A central obstacle in the optimization of such games is the rotational dynamics that hinder their convergence. In this paper, we show that game optimization shares dynamic properties with particle systems subject to multiple forces, and one can leverage tools from physics to improve optimization dynamics. Inspired by the physical framework, we propose LEAD, an optimizer for min-max games. Next, using Lyapunov stability theory and spectral analysis, we study LEAD’s convergence properties in continuous and discrete time settings for a class of quadratic min-max games to demonstrate linear convergence to the Nash equilibrium. Finally, we empirically evaluate our method on synthetic setups and CIFAR-10 image generation to demonstrate improvements in GAN training.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google