Metric Entropy-Free Sample Complexity Bounds for Sample Average Approximation in Convex Stochastic Programming

要約

この論文では、凸または強凸の確率計画法問題を解く際のサンプル平均近似 (SAA) について研究します。
いくつかの一般的な規則性条件の下で、SAA のサンプルの複雑さは計量エントロピー (カバー数の対数など) の定量化から完全に解放され、レートが大幅に向上することを、おそらく初めて示しました。
ほとんどの既存の結果よりも次元が $d$ です。
新たに確立された複雑さの限界から重要な発見は、SP に対する 2 つの主流のソリューション アプローチである SAA と正準確率的ミラー降下 (SMD) 法が、ほぼ同一のサンプル効率を必要とし、SAA の長年にわたる理論上の矛盾を修正するということです。
SMD から $O(d)$ のオーダーで。
さらに、この論文では、SAA が証明可能な有効性を維持する一方、SMD の対応する結果は未調査のままである非リプシッツシナリオを調査し、一部の不規則な環境において SAA がより適切に適用できる可能性を示しています。

要約(オリジナル)

This paper studies the sample average approximation (SAA) in solving convex or strongly convex stochastic programming problems. Under some common regularity conditions, we show — perhaps for the first time — that the SAA’s sample complexity can be completely free from any quantification of metric entropy (such as the logarithm of the covering number), leading to a significantly more efficient rate with dimensionality $d$ than most existing results. From the newly established complexity bounds, an important revelation is that the SAA and the canonical stochastic mirror descent (SMD) method, two mainstream solution approaches to SP, entail almost identical rates of sample efficiency, rectifying a long-standing theoretical discrepancy of the SAA from the SMD by the order of $O(d)$. Furthermore, this paper explores non-Lipschitzian scenarios where the SAA maintains provable efficacy, whereas corresponding results for the SMD remain unexplored, indicating the potential of the SAA’s better applicability in some irregular settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google