Optimal Algorithms for Online Convex Optimization with Adversarial Constraints

要約

よく研究された標準のオンライン凸最適化 (OCO) を一般化したものは、制約付きオンライン凸最適化 (COCO) です。
COCO では、ラウンドごとに、そのラウンドのアクションが選択された後、凸コスト関数と凸制約関数が学習者に明らかにされます。
目的は、長さ $T$ の範囲で対話する適応型の敵対者に対して、小さな累積制約違反 (CCV) を保証しながら、小さなリグメントを同時に達成するオンライン ポリシーを設計することです。
COCO における長年の未解決の問題は、オンライン政策が制限的な仮定なしに $O(\sqrt{T})$ リグレスと $O(\sqrt{T})$ CCV を同時に達成できるかどうかです。
初めてこれに肯定的に答え、オンライン政策が $O(\sqrt{T})$ リグレスと $\tilde{O}(\sqrt{T})$ CCV を同時に達成できることを示しました。
さらに、強い凸コスト関数と凸制約関数の場合、CCV 境界を上記と同じに保ちながら、リグアロング保証を $O(\log T)$ まで改善できます。
これらの結果は、AdaGrad アルゴリズムの適応リグレス限界と、制御理論の古典的なツールである Lyapunov 最適化を効果的に組み合わせることによって確立されます。
驚くべきことに、分析は短くエレガントです。

要約(オリジナル)

A well-studied generalization of the standard online convex optimization (OCO) is constrained online convex optimization (COCO). In COCO, on every round, a convex cost function and a convex constraint function are revealed to the learner after the action for that round is chosen. The objective is to design an online policy that simultaneously achieves a small regret while ensuring a small cumulative constraint violation (CCV) against an adaptive adversary interacting over a horizon of length $T$. A long-standing open question in COCO is whether an online policy can simultaneously achieve $O(\sqrt{T})$ regret and $O(\sqrt{T})$ CCV without any restrictive assumptions. For the first time, we answer this in the affirmative and show that an online policy can simultaneously achieve $O(\sqrt{T})$ regret and $\tilde{O}(\sqrt{T})$ CCV. Furthermore, in the case of strongly convex cost and convex constraint functions, the regret guarantee can be improved to $O(\log T)$ while keeping the CCV bound the same as above. We establish these results by effectively combining the adaptive regret bound of the AdaGrad algorithm with Lyapunov optimization – a classic tool from control theory. Surprisingly, the analysis is short and elegant.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google