Primal Methods for Variational Inequality Problems with Functional Constraints

要約

制約付き変分不等式問題は、機械学習やオペレーションズ リサーチなど、さまざまな分野にわたって幅広い応用が認められています。
一次法は、そのシンプルさとスケーラビリティにより、これらの問題を解決するための標準的なアプローチとして登場しました。
ただし、これらは通常、実行可能なセットをナビゲートするために射影または線形最小化オラクルに依存するため、複数の関数制約を特徴とする実際のシナリオでは計算コストが高くなります。
このような関数的に制約された変分不等式問題に取り組む既存の取り組みは、ラグランジュ関数に基づいた主双対アルゴリズムを中心としています。
これらのアルゴリズムは、理論的な分析とともに、最適なラグランジュ乗数の存在と事前の知識を必要とすることがよくあります。
この研究では、最適なラグランジュ乗数に関する情報を必要とせずに関数制約付き変分不等式問題に対処するための、制約勾配法 (CGM) と呼ばれる単純な基本法を提案します。
滑らかな制約の下で単調演算子を使用した変分不等式問題に対するアルゴリズムの非漸近収束解析を確立します。
驚くべきことに、私たちのアルゴリズムは、単調設定と単調度の高い設定の両方に対するオペレータ クエリの点で射影ベースの手法の複雑さに匹敵し、同時に二次計画法に基づく大幅に安価なオラクルを利用しています。
さらに、アルゴリズムの有効性を評価するためにいくつかの数値例を提供します。

要約(オリジナル)

Constrained variational inequality problems are recognized for their broad applications across various fields including machine learning and operations research. First-order methods have emerged as the standard approach for solving these problems due to their simplicity and scalability. However, they typically rely on projection or linear minimization oracles to navigate the feasible set, which becomes computationally expensive in practical scenarios featuring multiple functional constraints. Existing efforts to tackle such functional constrained variational inequality problems have centered on primal-dual algorithms grounded in the Lagrangian function. These algorithms along with their theoretical analysis often require the existence and prior knowledge of the optimal Lagrange multipliers. In this work, we propose a simple primal method, termed Constrained Gradient Method (CGM), for addressing functional constrained variational inequality problems, without necessitating any information on the optimal Lagrange multipliers. We establish a non-asymptotic convergence analysis of the algorithm for variational inequality problems with monotone operators under smooth constraints. Remarkably, our algorithms match the complexity of projection-based methods in terms of operator queries for both monotone and strongly monotone settings, while utilizing significantly cheaper oracles based on quadratic programming. Furthermore, we provide several numerical examples to evaluate the efficacy of our algorithms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google