Extragradient Type Methods for Riemannian Variational Inequality Problems

要約

リーマン凸最適化とミニマックス最適化は、最近かなりの注目を集めています。
それらの魅力は、目的関数の非凸性とユークリッドの意味での実現可能集合に固有の制約を適切に管理できることにあります。
この研究では、特定のケースとして凸リーマン最適化とミニマックス最適化の両方を含む単調リーマン変分不等式問題 (RVIP) を詳しく掘り下げます。
ユークリッド空間のコンテキストでは、超勾配 (EG) 法と過去超勾配 (PEG) 法の両方の最後の反復が $O\left(\frac{
1}{\sqrt{T}}\right)$ (Cai et al., 2022)。
ただし、リーマン多様体における同様の動作は未解決の問題のままです。
このギャップを埋めるために、リーマン超勾配法 (REG) およびリーマン過去超勾配法 (RPEG) を導入します。
どちらも $O\left(\frac{1}{\sqrt{T}}\right)$ 最後の反復収束を示すことを示します。
さらに、REG と RPEG の両方の平均反復収束が $O\left(\frac{1}{{T}}\right)$ であることを示し、ユークリッドの場合の観測結果と一致します (Mokhtari et al., 2020)
）。
これらの結果は、ホロノミー効果に慎重に対処することによって可能になり、リーマンの場合における追加の複雑さを軽減し、性能推定問題 (PEP) 手法または二乗和 (SOS) 手法からインスピレーションを得たユークリッド証明を再度適用することができます。

要約(オリジナル)

Riemannian convex optimization and minimax optimization have recently drawn considerable attention. Their appeal lies in their capacity to adeptly manage the non-convexity of the objective function as well as constraints inherent in the feasible set in the Euclidean sense. In this work, we delve into monotone Riemannian Variational Inequality Problems (RVIPs), which encompass both Riemannian convex optimization and minimax optimization as particular cases. In the context of Euclidean space, it is established that the last-iterates of both the extragradient (EG) and past extragradient (PEG) methods converge to the solution of monotone variational inequality problems at a rate of $O\left(\frac{1}{\sqrt{T}}\right)$ (Cai et al., 2022). However, analogous behavior on Riemannian manifolds remains an open question. To bridge this gap, we introduce the Riemannian extragradient (REG) and Riemannian past extragradient (RPEG) methods. We demonstrate that both exhibit $O\left(\frac{1}{\sqrt{T}}\right)$ last-iterate convergence. Additionally, we show that the average-iterate convergence of both REG and RPEG is $O\left(\frac{1}{{T}}\right)$, aligning with observations in the Euclidean case (Mokhtari et al., 2020). These results are enabled by judiciously addressing the holonomy effect so that additional complications in Riemannian cases can be reduced and the Euclidean proof inspired by the performance estimation problem (PEP) technique or the sum-of-squares (SOS) technique can be applied again.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google