要約
$\rho$-cohypomonotonicityを満たすか、$\rho$の弱いMinty変分不等式(MVI)の解を認める、制約された$L$-滑らかな非凸-非凹の最小-最大問題に焦点を当てます。
パラメータ $\rho>0$ は、より大きな非凸性の度合いに対応します。
これらの問題クラスには、2 プレーヤーの強化学習、相互作用支配的な最小-最大問題、および古典的な最小-最大アルゴリズムが失敗する特定の合成テスト問題の例が含まれます。
一次法は $\frac{1}{L}$ 以下の $\rho$ の値を許容できると推測されてきましたが、文献にある既存の結果は $\rho < \frac{ というより厳しい要件で停滞しています。
1{2L}ドル。
単純な引数を使用すると、$\rho < \frac{1}{L}$ の共低単調性または弱い MVI 条件を使用して、最適または最もよく知られている複雑さの保証が得られます。
私たちが分析するアルゴリズムは、ハルパーンとクラスノセルのスキー\u{\i}-マン (KM) 反復の不正確な変形です。
$\rho$ で同じ範囲の確率論的なケースでのアルゴリズムと複雑さの保証も提供します。
収束解析の改善に関する私たちの主な洞察は、最近提案された演算子の「円錐の非拡張性」特性を利用することです。
副産物として、不正確なハルパーン反復に対する洗練された分析を提供し、マルチレベル モンテカルロ推定器を使用した確率的 KM 反復を提案します。
要約(オリジナル)
We focus on constrained, $L$-smooth, nonconvex-nonconcave min-max problems either satisfying $\rho$-cohypomonotonicity or admitting a solution to the $\rho$-weakly Minty Variational Inequality (MVI), where larger values of the parameter $\rho>0$ correspond to a greater degree of nonconvexity. These problem classes include examples in two player reinforcement learning, interaction dominant min-max problems, and certain synthetic test problems on which classical min-max algorithms fail. It has been conjectured that first-order methods can tolerate value of $\rho$ no larger than $\frac{1}{L}$, but existing results in the literature have stagnated at the tighter requirement $\rho < \frac{1}{2L}$. With a simple argument, we obtain optimal or best-known complexity guarantees with cohypomonotonicity or weak MVI conditions for $\rho < \frac{1}{L}$. The algorithms we analyze are inexact variants of Halpern and Krasnosel'ski\u{\i}-Mann (KM) iterations. We also provide algorithms and complexity guarantees in the stochastic case with the same range on $\rho$. Our main insight for the improvements in the convergence analyses is to harness the recently proposed 'conic nonexpansiveness' property of operators. As byproducts, we provide a refined analysis for inexact Halpern iteration and propose a stochastic KM iteration with a multilevel Monte Carlo estimator.
arxiv情報
| 著者 | Ahmet Alacaoglu,Donghwan Kim,Stephen J. Wright |
| 発行日 | 2024-02-07 18:22:41+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google