Convergence of two-timescale gradient descent ascent dynamics: finite-dimensional and mean-field perspectives

要約

ツータイムスケール勾配降下（GDA）は、MIN-MAXゲームでNASH平衡を見つけるように設計された標準勾配アルゴリズムです。
有限次元設定と平均フィールド設定の両方で、収束挙動に対する学習率の比率の影響を調査することにより、2倍のGDAを分析します。
特に、有限次元の二次MIN-MAXゲームの場合、hypococycivity法を通じて、準静的レジームに近い長年の収束を取得します。
平均フィールドGDAダイナミクスについては、混合同期反射カップリング技術を使用して、有限スケール比下で収束を調査します。

要約(オリジナル)

The two-timescale gradient descent-ascent (GDA) is a canonical gradient algorithm designed to find Nash equilibria in min-max games. We analyze the two-timescale GDA by investigating the effects of learning rate ratios on convergence behavior in both finite-dimensional and mean-field settings. In particular, for finite-dimensional quadratic min-max games, we obtain long-time convergence in near quasi-static regimes through the hypocoercivity method. For mean-field GDA dynamics, we investigate convergence under a finite-scale ratio using a mixed synchronous-reflection coupling technique.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google