Accelerated Rates between Stochastic and Adversarial Online Convex Optimization

要約

確率的データと敵対的データは、オンライン学習において広く研究されている2つの設定である。しかし、多くの最適化課題は、i.i.d.でもなく、完全な逆境でもないため、これらの両極端の間の世界についてより良い理論的理解を得ることが基本的な興味となる。本研究では、確率的なi.i.d.と完全な敵対的損失の間を補間する設定において、オンライン凸最適化の新しい後悔境界を確立する。期待損失の滑らかさを利用することで、これらの境界は最大勾配長への依存を勾配の分散に置き換えたものであり、従来は線形損失に対してのみ知られていた。さらに、エキスパートやバンディットで考慮されていた、敵対的に毒されたラウンドを許容することで、i.i.d.の仮定を弱めることができる。完全にi.i.d.の場合、我々の後悔の境界は確率的加速の結果から期待される率と一致し、またオンラインからバッチへの変換により最適な確率的加速率を回復することができた。完全に敵対的なケースでは、我々の境界は徐々に悪化し、最小限の後悔に一致するようになる。さらに、確率的分散と損失勾配の敵対的変化の観点から、我々の後悔の上限がすべての中間領域でタイトであることを示す下界を提供する。

要約(オリジナル)

Stochastic and adversarial data are two widely studied settings in online learning. But many optimization tasks are neither i.i.d. nor fully adversarial, which makes it of fundamental interest to get a better theoretical understanding of the world between these extremes. In this work we establish novel regret bounds for online convex optimization in a setting that interpolates between stochastic i.i.d. and fully adversarial losses. By exploiting smoothness of the expected losses, these bounds replace a dependence on the maximum gradient length by the variance of the gradients, which was previously known only for linear losses. In addition, they weaken the i.i.d. assumption by allowing, for example, adversarially poisoned rounds, which were previously considered in the related expert and bandit settings. In the fully i.i.d. case, our regret bounds match the rates one would expect from results in stochastic acceleration, and we also recover the optimal stochastically accelerated rates via online-to-batch conversion. In the fully adversarial case our bounds gracefully deteriorate to match the minimax regret. We further provide lower bounds showing that our regret upper bounds are tight for all intermediate regimes in terms of the stochastic variance and the adversarial variation of the loss gradients.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL