Omega: Optimistic EMA Gradients

要約

確率的最小最大最適化は、GAN と敵対的トレーニングの進歩により、機械学習コミュニティでの関心を集めています。
ゲームの最適化は決定論的設定ではかなりよく理解されていますが、確率論的領域ではいくつかの問題が残ります。
最近の研究では、楽観的勾配などの確率的勾配降下上昇法はノイズに非常に敏感であるか、収束に失敗する可能性があることが示されています。
代替戦略は存在しますが、法外に高価になる可能性があります。
更新ルールに過去の勾配の EMA を組み込むことでノイズの影響を軽減する、楽観的な更新を行うメソッドである Omega を紹介します。
また、運動量を組み込んだこのアルゴリズムのバリエーションも検討します。
収束の保証は提供しませんが、確率的ゲームに関する実験では、線形プレーヤーに適用した場合、Omega が楽観的勾配法よりも優れたパフォーマンスを示すことが示されています。

要約(オリジナル)

Stochastic min-max optimization has gained interest in the machine learning community with the advancements in GANs and adversarial training. Although game optimization is fairly well understood in the deterministic setting, some issues persist in the stochastic regime. Recent work has shown that stochastic gradient descent-ascent methods such as the optimistic gradient are highly sensitive to noise or can fail to converge. Although alternative strategies exist, they can be prohibitively expensive. We introduce Omega, a method with optimistic-like updates that mitigates the impact of noise by incorporating an EMA of historic gradients in its update rule. We also explore a variation of this algorithm that incorporates momentum. Although we do not provide convergence guarantees, our experiments on stochastic games show that Omega outperforms the optimistic gradient method when applied to linear players.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google