Beyond first-order methods for non-convex non-concave min-max optimization

要約

タイトル：非凸非凹のmin-max最適化における第一種法の限界を超えて

要約：

– 非標準的な高階手法を用いた、構造化された非凸非凹のmin-max最適化問題の研究を提案する。
– 一次元法に関する最近の研究[Adil et al., 2022, Lin and Jordan, 2022b]に着想を得て、モノトン条件やMinty条件の制約を超えた改善可能性を提示する。
– 特に、Diakonikolas et al. [2021]の弱めたMinty変分不等式条件下で、離散時間の$p$次元法を用いて演算子ノルム最小化に取り組むことの新しい理解を提供し、$\epsilon$-近似定常点を達成するための$O(1/\epsilon^\frac{2}{p})$の速度を確立する。
– また、離散時間の設定にも適合する速度の連続時間解析を提供し、私たちのアプローチが一次元法に比べて実用的な利益をもたらすことを実験的に示す。

要約(オリジナル)

We propose a study of structured non-convex non-concave min-max problems which goes beyond standard first-order approaches. Inspired by the tight understanding established in recent works [Adil et al., 2022, Lin and Jordan, 2022b], we develop a suite of higher-order methods which show the improvements attainable beyond the monotone and Minty condition settings. Specifically, we provide a new understanding of the use of discrete-time $p^{th}$-order methods for operator norm minimization in the min-max setting, establishing an $O(1/\epsilon^\frac{2}{p})$ rate to achieve $\epsilon$-approximate stationarity, under the weakened Minty variational inequality condition of Diakonikolas et al. [2021]. We further present a continuous-time analysis alongside rates which match those for the discrete-time setting, and our empirical results highlight the practical benefits of our approach over first-order methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI