Coordinate Linear Variance Reduction for Generalized Linear Programming

要約

タイトル：一般化線形計画の座標線形分散縮小法

要約：

– 一般化線形計画（GLP）を大規模な設定で研究し、シンプルで滑らかでない凸正則化子とシンプルな凸規制制約を含む問題を解決するために、凸凹最小最大問題としてGLPを再定式化することで、問題の線形構造を利用して、効率的でスケーラブルな一次アルゴリズムを設計することができる。
– 座標線形分散縮小法（CLVR）は、max row normを基準として、スペクトルノルムではなく、GLPの改善された複雑性結果をもたらす。
– レギュラリゼーション項と制約が分離可能な場合、CLVRは効率的な怠惰な更新戦略を許可し、行列の次元に比べて、ゼロでない要素の数にスケールする。
– 線形プログラムの特別な場合には、鋭さを利用して、CLVRの再起動スキームを提案し、経験的な線形収束を得ることができる。
– F-ダイバージェンスとWassersteinメトリックに基づく不確定性集合に基づく分布的に堅牢な最適化（DRO）問題は、疎結合補助変数を導入することにより、GLPに再定式化することができる。
– 数値実験により、wall-clock timeとデータパスの数によるアルゴリズムの実効性を検証した。

要約(オリジナル)

We study a class of generalized linear programs (GLP) in a large-scale setting, which includes simple, possibly nonsmooth convex regularizer and simple convex set constraints. By reformulating (GLP) as an equivalent convex-concave min-max problem, we show that the linear structure in the problem can be used to design an efficient, scalable first-order algorithm, to which we give the name \emph{Coordinate Linear Variance Reduction} (\textsc{clvr}; pronounced ‘clever’). \textsc{clvr} yields improved complexity results for (GLP) that depend on the max row norm of the linear constraint matrix in (GLP) rather than the spectral norm. When the regularization terms and constraints are separable, \textsc{clvr} admits an efficient lazy update strategy that makes its complexity bounds scale with the number of nonzero elements of the linear constraint matrix in (GLP) rather than the matrix dimensions. On the other hand, for the special case of linear programs, by exploiting sharpness, we propose a restart scheme for \textsc{clvr} to obtain empirical linear convergence. Then we show that Distributionally Robust Optimization (DRO) problems with ambiguity sets based on both $f$-divergence and Wasserstein metrics can be reformulated as (GLPs) by introducing sparsely connected auxiliary variables. We complement our theoretical guarantees with numerical experiments that verify our algorithm’s practical effectiveness, in terms of wall-clock time and number of data passes.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI