Contextual Continuum Bandits: Static Versus Dynamic Regret

要約

我々は、学習者がサイド情報ベクトルを順番に受け取り、コンテキストに関連付けられた関数を最小化する凸集合内のアクションを選択する必要がある、コンテキスト連続体バンディット問題を研究します。
目標は、受信したコンテキストの基礎となるすべての機能を最小限に抑え、標準の静的なリグレスよりも強力な動的 (コンテキスト) リグレスの概念を実現することです。
目的関数がコンテキストに関してより古いと仮定すると、準線形の静的リグレスを達成するアルゴリズムは、準線形の動的リグレスを達成するように拡張できることを示します。
観測値にノイズが多い場合の、強く凸状の関数と滑らかな関数の場合をさらに研究します。
内点法に触発され、自己調和バリアを使用して、サブリニアの動的リグアランスを達成するアルゴリズムを提案します。
最後に、2 つの重要な事実を示唆するミニマックスの下限を示します。
まず、コンテキストに関して連続ではない関数に対して、どのアルゴリズムも準線形の動的リグレスを達成することはできません。
第 2 に、強く凸で滑らかな関数の場合、私たちが提案するアルゴリズムは、クエリ数の関数として動的リグレスの最小最適最適率を対数係数まで達成します。

要約(オリジナル)

We study the contextual continuum bandits problem, where the learner sequentially receives a side information vector and has to choose an action in a convex set, minimizing a function associated to the context. The goal is to minimize all the underlying functions for the received contexts, leading to a dynamic (contextual) notion of regret, which is stronger than the standard static regret. Assuming that the objective functions are H\’older with respect to the contexts, we demonstrate that any algorithm achieving a sub-linear static regret can be extended to achieve a sub-linear dynamic regret. We further study the case of strongly convex and smooth functions when the observations are noisy. Inspired by the interior point method and employing self-concordant barriers, we propose an algorithm achieving a sub-linear dynamic regret. Lastly, we present a minimax lower bound, implying two key facts. First, no algorithm can achieve sub-linear dynamic regret over functions that are not continuous with respect to the context. Second, for strongly convex and smooth functions, the algorithm that we propose achieves, up to a logarithmic factor, the minimax optimal rate of dynamic regret as a function of the number of queries.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google