The Price of Adaptivity in Stochastic Convex Optimization

要約

非滑らかな確率的凸最適化における適応性の不可能な結果を​​証明します。
適応したい一連の問題パラメーターが与えられた場合、大まかに言えば、これらのパラメーターの不確実性による準最適性の乗算増加を測定する「適応性の価格」(PoA) を定義します。
最適値までの初期距離は不明だが、勾配ノルム限界がわかっている場合、PoA は予想される準最適性については少なくとも対数的であり、中央値の準最適性については二重対数的であることを示します。
距離と勾配ノルムの両方に不確実性がある場合、PoA は不確実性のレベルにおいて多項式でなければならないことを示します。
下限は既存の上限とほぼ一致しており、パラメーターのないランチは存在しないことが確立されています。

要約(オリジナル)

We prove impossibility results for adaptivity in non-smooth stochastic convex optimization. Given a set of problem parameters we wish to adapt to, we define a ‘price of adaptivity’ (PoA) that, roughly speaking, measures the multiplicative increase in suboptimality due to uncertainty in these parameters. When the initial distance to the optimum is unknown but a gradient norm bound is known, we show that the PoA is at least logarithmic for expected suboptimality, and double-logarithmic for median suboptimality. When there is uncertainty in both distance and gradient norm, we show that the PoA must be polynomial in the level of uncertainty. Our lower bounds nearly match existing upper bounds, and establish that there is no parameter-free lunch.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google