First-order methods for Stochastic Variational Inequality problems with Function Constraints

要約

単調変分不等式 (VI) は、さまざまな工学および科学分野で重要な用途を持つ一般的なモデルです。
多くの場合、VI の問題にはデータ駆動型の関数制約が伴うため、通常の射影演算子の計算が困難になります。
この論文では、確率的演算子と制約を伴う可能性のある滑らかまたは非滑らかな設定における関数制約変分不等式 (FCVI) 問題の新しい一次法を紹介します。
スムーズな決定論的設定で FCVI の KKT 演算子に演算子外挿を使用する AdOpEx メソッドを導入します。
この演算子はラグランジュ乗数では一様にリプシッツ連続ではないため、適応型 2 タイムスケール アルゴリズムを採用して乗数を制限し、最適な $O(1/T)$ 収束率を達成します。
非スムーズで確率的な VI については、AdOpEx メソッドに設計変更を導入し、部分外挿を行う新しい P-OpEx メソッドを提案します。
演算子と制約の両方が確率的または非滑らかな場合、$O(1/\sqrt{T})$ のレートで収束します。
この方法は、関数制約のノイズおよびリプシッツ定数に最適ではありません。
私たちは、この依存性を一桁改善する OpConEx メソッドにつながる制約外挿アプローチを提案します。
すべてのアルゴリズムは、同じ複雑さの結果を維持しながら主変数と双対変数を結合する関数制約を使用して鞍点問題に簡単に拡張できます。
私たちの知る限り、複雑さの結果はすべて文献において新しいものです。

要約(オリジナル)

The monotone Variational Inequality (VI) is a general model with important applications in various engineering and scientific domains. In numerous instances, the VI problems are accompanied by function constraints that can be data-driven, making the usual projection operator challenging to compute. This paper presents novel first-order methods for the function-constrained Variational Inequality (FCVI) problem in smooth or nonsmooth settings with possibly stochastic operators and constraints. We introduce the AdOpEx method, which employs an operator extrapolation on the KKT operator of the FCVI in a smooth deterministic setting. Since this operator is not uniformly Lipschitz continuous in the Lagrange multipliers, we employ an adaptive two-timescale algorithm leading to bounded multipliers and achieving the optimal $O(1/T)$ convergence rate. For the nonsmooth and stochastic VIs, we introduce design changes to the AdOpEx method and propose a novel P-OpEx method that takes partial extrapolation. It converges at the rate of $O(1/\sqrt{T})$ when both the operator and constraints are stochastic or nonsmooth. This method has suboptimal dependence on the noise and Lipschitz constants of function constraints. We propose a constraint extrapolation approach leading to the OpConEx method that improves this dependence by an order of magnitude. All our algorithms easily extend to saddle point problems with function constraints that couple the primal and dual variables while maintaining the same complexity results. To the best of our knowledge, all our complexity results are new in the literature

arxiv情報

提供元, 利用サービス

arxiv.jp, Google