Primal Methods for Variational Inequality Problems with Functional Constraints

要約

機械学習や運用研究を含むさまざまな分野での幅広いアプリケーションでは、変動不平等の問題が認識されています。
一次方法は、それらの単純さとスケーラビリティのために、これらの問題を解決するための標準的なアプローチとして浮上しています。
ただし、通常、それらは予測または線形最小化のオラクルに依存して、実行可能なセットをナビゲートします。
このような機能的に制約された変動不平等の問題に取り組むための既存の取り組みは、ラグランジアン関数に基づいた原始アルゴリズムに集中しています。
これらのアルゴリズムとその理論的分析は、多くの場合、最適なラグランジュ乗数の存在と事前知識を必要とします。
この作業では、最適なラグランジュ乗数に関する情報を必要とせずに、機能的な制約された変動不等式の問題に対処するために、制約付き勾配法（CGM）と呼ばれる単純な原始法を提案します。
私たちは、円形の制約の下で単調な演算子とともに、ミント変分変異不平等の問題のアルゴリズムの非皮質収束分析を確立します。
驚くべきことに、私たちのアルゴリズムは、二次プログラミングに基づいて大幅に安価なオラクルを使用しながら、単調なモノトーン設定の両方の演算子クエリの観点から、投影ベースの方法の複雑さと一致します。
さらに、アルゴリズムの有効性を評価するために、いくつかの数値例を提供します。

要約(オリジナル)

Variational inequality problems are recognized for their broad applications across various fields including machine learning and operations research. First-order methods have emerged as the standard approach for solving these problems due to their simplicity and scalability. However, they typically rely on projection or linear minimization oracles to navigate the feasible set, which becomes computationally expensive in practical scenarios featuring multiple functional constraints. Existing efforts to tackle such functional constrained variational inequality problems have centered on primal-dual algorithms grounded in the Lagrangian function. These algorithms along with their theoretical analysis often require the existence and prior knowledge of the optimal Lagrange multipliers. In this work, we propose a simple primal method, termed Constrained Gradient Method (CGM), for addressing functional constrained variational inequality problems, without requiring any information on the optimal Lagrange multipliers. We establish a non-asymptotic convergence analysis of the algorithm for Minty variational inequality problems with monotone operators under smooth constraints. Remarkably, our algorithms match the complexity of projection-based methods in terms of operator queries for both monotone and strongly monotone settings, while using significantly cheaper oracles based on quadratic programming. Furthermore, we provide several numerical examples to evaluate the efficacy of our algorithms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google