On Scaled Methods for Saddle Point Problems

要約

さまざまな機能を適応的にスケーリングする手法は、鞍点問題を解決する上で重要な役割を果たします。これは主に、GANS トレーニングなどの敵対的な機械学習問題の解決で Adam が人気があるためです。
この論文では、SPP を解決するための次のスケーリング手法、よく知られた Adam および RmsProp スケーリング、および Hutchison 近似に基づく新しい AdaHessian および OASIS の理論的分析を実行します。
基本的な手法として、エクストラ グラデーションと、負の運動量を使用したその改良版を使用します。
GAN に関する実験研究では、Adam だけでなく、他のあまり普及していない手法にも適用できることが示されています。

要約(オリジナル)

Methods with adaptive scaling of different features play a key role in solving saddle point problems, primarily due to Adam’s popularity for solving adversarial machine learning problems, including GANS training. This paper carries out a theoretical analysis of the following scaling techniques for solving SPPs: the well-known Adam and RmsProp scaling and the newer AdaHessian and OASIS based on Hutchison approximation. We use the Extra Gradient and its improved version with negative momentum as the basic method. Experimental studies on GANs show good applicability not only for Adam, but also for other less popular methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google