Constrained Online Convex Optimization with Polyak Feasibility Steps

要約

この作業では、固定制約関数$ g：\ mathbb {r}^d \ rightarrow \ mathbb {r} $を使用して、オンライン凸の最適化を研究します。
この問題に関する以前の研究は、$ o（\ sqrt {t}）$後悔と累積制約満足度$ \ sum_ {t = 1}^{t} g（x_t）\ leq 0 $を示していますが、制約値とアクセスのみにアクセスします。
再生アクション$ g（x_t）、\ partial g（x_t）$でのサブグラディエント。
同じ制約情報を使用して、いつでも制約満足度$ g（x_t）\ leq 0 \ \ forall t \ in [t] $のより強力な保証を示し、$ o（\ sqrt {t}）$後悔保証を一致させます。
これらの貢献は、後悔を犠牲にすることなく、制約の満足度を確保するためにPolyAKの実現可能性の手順を使用するというアプローチのおかげです。
具体的には、オンライン勾配降下の各ステップの後、私たちのアルゴリズムは、有名なPolyAKステップサイズに従って段階サイズが選択される制約関数にサブ勾配降下ステップを適用します。
さらに、数値実験でこのアプローチを検証します。

要約(オリジナル)

In this work, we study online convex optimization with a fixed constraint function $g : \mathbb{R}^d \rightarrow \mathbb{R}$. Prior work on this problem has shown $O(\sqrt{T})$ regret and cumulative constraint satisfaction $\sum_{t=1}^{T} g(x_t) \leq 0$, while only accessing the constraint value and subgradient at the played actions $g(x_t), \partial g(x_t)$. Using the same constraint information, we show a stronger guarantee of anytime constraint satisfaction $g(x_t) \leq 0 \ \forall t \in [T]$, and matching $O(\sqrt{T})$ regret guarantees. These contributions are thanks to our approach of using Polyak feasibility steps to ensure constraint satisfaction, without sacrificing regret. Specifically, after each step of online gradient descent, our algorithm applies a subgradient descent step on the constraint function where the step-size is chosen according to the celebrated Polyak step-size. We further validate this approach with numerical experiments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google