CRIMED: Lower and Upper Bounds on Regret for Bandits with Unbounded Stochastic Corruption

要約

私たちは、恣意的な破損を伴う複数の武装した盗賊環境における後悔の最小化の問題を調査します。
古典的な設定と同様に、エージェントは、毎回選択されたアームの分布から独立して生成される報酬を受け取ります。
ただし、これらの報酬は直接観察されるわけではありません。
代わりに、固定 $\varepsilon\in (0,\frac{1}{2})$ を使用して、エージェントは選択したアームの分布から $1-\varepsilon$ の確率でサンプルを観察するか、または任意の破損分布から確率でサンプルを観察します。
$\バレプシロン$。
重要なのは、これらの破損の分布には制限がない可能性があるため、いかなる仮定も課していないことです。
この設定では、潜在的に無制限の破損に対応して、アーム分布の特定のファミリーに対する問題に依存した後悔の下限を確立します。
CRIMED は、分散が既知のガウス分布を使用して盗賊のリグレスの正確な下限を達成する漸近最適アルゴリズムを紹介します。
さらに、CRIMED の後悔パフォーマンスの有限サンプル分析も提供します。
特に、CRIMED は、$\frac{1}{2}$ までの $\varepsilon$ 値の破損を効果的に処理できます。
さらに、$\frac{1}{2}$ までの $\varepsilon$ 値を使用しても、任意の破損が存在する場合でも中央値の厳密な集中結果が得られますが、これは独立した関心事となる可能性があります。
また、ガウス モデルの誤った仕様を処理するためのアルゴリズムの拡張についても説明します。

要約(オリジナル)

We investigate the regret-minimisation problem in a multi-armed bandit setting with arbitrary corruptions. Similar to the classical setup, the agent receives rewards generated independently from the distribution of the arm chosen at each time. However, these rewards are not directly observed. Instead, with a fixed $\varepsilon\in (0,\frac{1}{2})$, the agent observes a sample from the chosen arm’s distribution with probability $1-\varepsilon$, or from an arbitrary corruption distribution with probability $\varepsilon$. Importantly, we impose no assumptions on these corruption distributions, which can be unbounded. In this setting, accommodating potentially unbounded corruptions, we establish a problem-dependent lower bound on regret for a given family of arm distributions. We introduce CRIMED, an asymptotically-optimal algorithm that achieves the exact lower bound on regret for bandits with Gaussian distributions with known variance. Additionally, we provide a finite-sample analysis of CRIMED’s regret performance. Notably, CRIMED can effectively handle corruptions with $\varepsilon$ values as high as $\frac{1}{2}$. Furthermore, we develop a tight concentration result for medians in the presence of arbitrary corruptions, even with $\varepsilon$ values up to $\frac{1}{2}$, which may be of independent interest. We also discuss an extension of the algorithm for handling misspecification in Gaussian model.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google