Metric Entropy-Free Sample Complexity Bounds for Sample Average Approximation in Convex Stochastic Programming

要約

このホワイトペーパーでは、凸状または強く凸確率的プログラミング（SP）の問題を解く際のサンプル平均近似（SAA）を研究します。
SAAのサンプル効率を推定する際に、最先端のサンプルの複雑さの境界には、問題の次元と多項式に多項式に成長することが多い、メトリックエントロピー項（実行可能な領域のカバー数の対数など）が含まれます。
メトリックエントロピーフリーの複雑さ速度は、均一なリプシッツ条件下で達成できることが示されていますが、そのような仮定は、多くの重要なSP問題設定にとって非常に重要です。
これに応じて、このペーパーでは、おそらく標準的なSP仮定の下でのSAAのメトリックエントロピーのないサンプルの複雑さの境界の最初のセットを提示します – 均一なリプシッツ条件がない場合。
多くの場合、新しい結果は、最先端よりも$ O（d）$ – 複雑さの改善につながります。
新しく確立された複雑さの境界から、重要な啓示は、SAAとCanonical Stochastic Mirror Descent（SMD）メソッド、SPへの2つの主流のソリューションアプローチであり、SAAの理論的矛盾を$ O（D）$のオーダーによっても持ち上げます。
さらに、このペーパーでは、SAAが証明可能な有効性を維持しているが、SMDの対応する結果はほとんど未調査のままである非リプシチアンシナリオを調査し、いくつかの不規則な設定におけるSAAの適用性の向上の可能性を示しています。
SAAの数値実験結果は、シミュレートされたSP問題を解決し、理論的な調査結果に合わせています。

要約(オリジナル)

This paper studies sample average approximation (SAA) in solving convex or strongly convex stochastic programming (SP) problems. In estimating SAA’s sample efficiency, the state-of-the-art sample complexity bounds entail metric entropy terms (such as the logarithm of the feasible region’s covering number), which often grow polynomially with problem dimensionality. While it has been shown that metric entropy-free complexity rates are attainable under a uniform Lipschitz condition, such an assumption can be overly critical for many important SP problem settings. In response, this paper presents perhaps the first set of metric entropy-free sample complexity bounds for the SAA under standard SP assumptions — in the absence of the uniform Lipschitz condition. The new results often lead to an $O(d)$-improvement in the complexity rate than the state-of-the-art. From the newly established complexity bounds, an important revelation is that SAA and the canonical stochastic mirror descent (SMD) method, two mainstream solution approaches to SP, entail almost identical rates of sample efficiency, lifting a theoretical discrepancy of SAA from SMD also by the order of $O(d)$. Furthermore, this paper explores non-Lipschitzian scenarios where SAA maintains provable efficacy but the corresponding results for SMD remain mostly unexplored, indicating the potential of SAA’s better applicability in some irregular settings. Our numerical experiment results on SAA for solving a simulated SP problem align with our theoretical findings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google