Explicit Second-Order Min-Max Optimization Methods with Optimal Convergence Guarantee

要約

\emph{convex-concave} の制約のない最小-最大最適化問題の全体的な鞍点を見つけるための不正確な正則化ニュートン型手法をいくつか提案し、分析します。
二次情報による全体的な収束率を取得することがはるかに複雑であるため、一次手法と比較して、最小-最大最適化のための二次手法についての理解は比較的限られています。
この論文では、不正確な場合でも二次情報を使用して超勾配法を高速化する方法を検討します。
具体的には、提案された方法が有界集合内に残る反復を生成し、平均化された反復が $O(\epsilon^{-2/3})$ 反復内の $\epsilon$-saddle 点に収束することを示します。
制限されたギャップ機能。
これは、この文脈で理論的に確立された下限と一致しました。
また、各反復で部分問題を解くための単純なルーチンも提供します。これには、1 回の Schur 分解と、準上三角系の線形システム ソルバーへの $O(\log\log(1/\epsilon))$ 呼び出しが必要です。
したがって、私たちの方法は、必要なシュール分解数の $O(\log\log(1/\epsilon))$ 要素を削減することにより、既存のラインサーチベースの 2 次最小-最大最適化方法を改善します。
最後に、提案された方法の効率を実証する合成データと実際のデータに関する数値実験を紹介します。

要約(オリジナル)

We propose and analyze several inexact regularized Newton-type methods for finding a global saddle point of \emph{convex-concave} unconstrained min-max optimization problems. Compared to first-order methods, our understanding of second-order methods for min-max optimization is relatively limited, as obtaining global rates of convergence with second-order information is much more involved. In this paper, we examine how second-order information can be used to speed up extra-gradient methods, even under inexactness. Specifically, we show that the proposed methods generate iterates that remain within a bounded set and that the averaged iterates converge to an $\epsilon$-saddle point within $O(\epsilon^{-2/3})$ iterations in terms of a restricted gap function. This matched the theoretically established lower bound in this context. We also provide a simple routine for solving the subproblem at each iteration, requiring a single Schur decomposition and $O(\log\log(1/\epsilon))$ calls to a linear system solver in a quasi-upper-triangular system. Thus, our method improves the existing line-search-based second-order min-max optimization methods by shaving off an $O(\log\log(1/\epsilon))$ factor in the required number of Schur decompositions. Finally, we present numerical experiments on synthetic and real data that demonstrate the efficiency of the proposed methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google