Solving stochastic weak Minty variational inequalities without increasing batch size

要約

この論文では、弱い Minty 変分不等式 (MVI) によって特徴付けられる非凸非凹問題のクラスに対する確率論的超勾配型アルゴリズムのファミリを紹介します。
モノトーン設定での超勾配法に関する既存の結果とは異なり、弱い MVI 設定ではステップサイズの減少を採用することはできなくなりました。
これにより、反復ごとのバッチサイズを増やすなどのアプローチが生まれましたが、これは法外に高価になる可能性があります。
対照的に、提案された方法には2つのステップサイズが含まれ、反復ごとに追加のオラクル評価が1つだけ必要です。
1 つの固定ステップサイズを維持することが可能である一方で、2 番目のステップサイズのみが減少すると考えられることを示し、単調な設定でも興味深いものにしています。
ほぼ確実に収束が確立されており、有名な主なデュアルハイブリッド勾配アルゴリズムの非線形一般化を含む、このファミリーのスキームの統一された分析を提供します。

要約(オリジナル)

This paper introduces a family of stochastic extragradient-type algorithms for a class of nonconvex-nonconcave problems characterized by the weak Minty variational inequality (MVI). Unlike existing results on extragradient methods in the monotone setting, employing diminishing stepsizes is no longer possible in the weak MVI setting. This has led to approaches such as increasing batch sizes per iteration which can however be prohibitively expensive. In contrast, our proposed methods involves two stepsizes and only requires one additional oracle evaluation per iteration. We show that it is possible to keep one fixed stepsize while it is only the second stepsize that is taken to be diminishing, making it interesting even in the monotone setting. Almost sure convergence is established and we provide a unified analysis for this family of schemes which contains a nonlinear generalization of the celebrated primal dual hybrid gradient algorithm.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google