Fast Computation of Superquantile-Constrained Optimization Through Implicit Scenario Reduction

要約

スーパークォンタイルは、統計学習や意思決定の問題における公平性や分布の変化に対処するためのリスクを意識した指標として、最近大きな関心を集めています。
この論文では、超分位数ベースの制約を持つ大規模な最適化問題を解決するための、高速でスケーラブルで堅牢な 2 次計算フレームワークを紹介します。
経験的なリスク最小化とは異なり、超分位数ベースの最適化では、テール条件付き期待値を計算するために、すべてのシナリオにわたって評価されたランダム関数をランク付けする必要があります。
このテールベースの機能は計算的には不親切に見えるかもしれませんが、半平滑ニュートンベースの拡張ラグランジュ法にとって有利な設定を提供します。
超分位演算子は、テール期待値に含まれるシナリオがかなり少ないため、ニュートン系の次元を効果的に削減します。
特に、関連する 2 次情報を取得し、逆行列を実行するための追加コストは、勾配計算に必要な労力と同等であることが多く、場合によってはそれよりも少ない場合もあります。
私たちが開発したソルバーは、シナリオの数が決定変数の数を大幅に超える場合に特に効果的です。
線形および凸対角二次関数の目的を使用した合成問題では、数値実験により、私たちの方法が既存のアプローチよりも大幅に優れていることが実証されています。線形および二次関数の目的では、OSQP によって実装されている乗算器の交互方向法よりも 750 倍以上速い速度を達成します。
低精度の解を計算する。
さらに、商用ソルバーである Gurobi と比較して、線形目標では最大 25 倍、二次目標では 70 倍高速であり、高精度ソリューション向けの Portfolio Safeguard 最適化スイートと比べて、線形目標では 20 倍、二次目標では 30 倍高速です。
計算。

要約(オリジナル)

Superquantiles have recently gained significant interest as a risk-aware metric for addressing fairness and distribution shifts in statistical learning and decision making problems. This paper introduces a fast, scalable and robust second-order computational framework to solve large-scale optimization problems with superquantile-based constraints. Unlike empirical risk minimization, superquantile-based optimization requires ranking random functions evaluated across all scenarios to compute the tail conditional expectation. While this tail-based feature might seem computationally unfriendly, it provides an advantageous setting for a semismooth-Newton-based augmented Lagrangian method. The superquantile operator effectively reduces the dimensions of the Newton systems since the tail expectation involves considerably fewer scenarios. Notably, the extra cost of obtaining relevant second-order information and performing matrix inversions is often comparable to, and sometimes even less than, the effort required for gradient computation. Our developed solver is particularly effective when the number of scenarios substantially exceeds the number of decision variables. In synthetic problems with linear and convex diagonal quadratic objectives, numerical experiments demonstrate that our method outperforms existing approaches by a large margin: It achieves speeds more than 750 times faster for linear and quadratic objectives than the alternating direction method of multipliers as implemented by OSQP for computing low-accuracy solutions. Additionally, it is up to 25 times faster for linear objectives and 70 times faster for quadratic objectives than the commercial solver Gurobi, and 20 times faster for linear objectives and 30 times faster for quadratic objectives than the Portfolio Safeguard optimization suite for high-accuracy solution computations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google