Perseus: A Simple and Optimal High-Order Method for Variational Inequalities

要約

この論文は、滑らかで単調な変分不等式 (VI) を解くための単純で最適な高次法の設計に関する未解決で挑戦的な質問を解決します。
VI には、すべての $x \in \mathcal{X} に対して $\langle F(x), x – x^\star\rangle \geq 0$ となるような $x^\star \in \mathcal{X}$ を見つけることが含まれます。
$。
$F$ が $(p-1)^{th}$ 次微分まで滑らかになる設定を考えます。
$p = 2$の場合、3次正則化ニュートン法はグローバルレート$O(\epsilon^{-1})$のVIに拡張されました。
改善された $O(\epsilon^{-2/3}\log\log(1/\epsilon))$ のレートは、別の 2 次法によって取得できますが、この方法には次のような重要な線探索手順が必要です。
内側のループ。
同様に、線探索手順に基づく高次の手法は $O(\epsilon^{-2/(p+1)}\log\log(1/\epsilon))$ のレートを達成することが示されています。
しかし、ネステロフ氏が強調したように、そのような手順は必ずしも大規模アプリケーションでの実際的な適用可能性を意味するものではなく、より複雑な方法の最適性を維持する単純な高次 VI 方法でこれらの結果を補完することが望ましいでしょう。
\textit{不要}で、$O(\epsilon^{-2/(p+1) のレートで弱い解に収束することが証明されている $p^{th}$-order 法を提案します。
)})$。
一般化された線形スパン仮定の下で一致する下限を確立することにより、$p^{th}$-order 法が単調設定で最適であることを証明します。
再起動を伴う私たちの方法は、滑らかで厳密に単調な VI では線形レートを達成し、滑らかで完全に単調な VI では局所超線形レートを達成します。
また、私たちの手法は、Minty 条件を満たす滑らかで非単調な VI を解くために $O(\epsilon^{-2/p})$ のグローバル レートを達成し、再起動で強化すると、滑らかで非単調な VI に対してグローバルな線形およびローカルな超線形レートを達成します。
厳密/強力な Minty 条件を満たす VI。

要約(オリジナル)

This paper settles an open and challenging question pertaining to the design of simple and optimal high-order methods for solving smooth and monotone variational inequalities (VIs). A VI involves finding $x^\star \in \mathcal{X}$ such that $\langle F(x), x – x^\star\rangle \geq 0$ for all $x \in \mathcal{X}$. We consider the setting in which $F$ is smooth with up to $(p-1)^{th}$-order derivatives. For $p = 2$, the cubic regularized Newton method was extended to VIs with a global rate of $O(\epsilon^{-1})$. An improved rate of $O(\epsilon^{-2/3}\log\log(1/\epsilon))$ can be obtained via an alternative second-order method, but this method requires a nontrivial line-search procedure as an inner loop. Similarly, high-order methods based on line-search procedures have been shown to achieve a rate of $O(\epsilon^{-2/(p+1)}\log\log(1/\epsilon))$. As emphasized by Nesterov, however, such procedures do not necessarily imply practical applicability in large-scale applications, and it would be desirable to complement these results with a simple high-order VI method that retains the optimality of the more complex methods. We propose a $p^{th}$-order method that does \textit{not} require any line search procedure and provably converges to a weak solution at a rate of $O(\epsilon^{-2/(p+1)})$. We prove that our $p^{th}$-order method is optimal in the monotone setting by establishing a matching lower bound under a generalized linear span assumption. Our method with restarting attains a linear rate for smooth and strictly monotone VIs and a local superlinear rate for smooth and strongly monotone VIs. Our method also achieves a global rate of $O(\epsilon^{-2/p})$ for solving smooth and nonmonotone VIs satisfying the Minty condition and when augmented with restarting it attains a global linear and local superlinear rate for smooth and nonmonotone VIs satisfying the strictly/strong Minty condition.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google