Fixed-Budget Change Point Identification in Piecewise Constant Bandits

要約

私たちは、期待される報酬がアクション空間 $[0,1]$ 全体に 1 つの変化点 (不連続性) を持つ区分的定数関数である区分的定数バンディット問題を研究します。学習者の目的は、変化点を見つけることです。
固定の探査予算の仮定の下で、バンディットフィードバックの下で平均報酬関数の突然の変化を特定するように設計されたポリシーの最初の非漸近分析を提供します。
私たちは大規模な予算と小規模な予算体制の下で問題を研究し、どちらの設定でもエラー確率の下限を設定し、ほぼ一致する上限を持つアルゴリズムを提供します。
興味深いことに、私たちの結果は、2 つの体制の複雑さにおける分離を示しています。
次に、小規模予算と大規模予算の両方に対して同時に最適に近い体制適応アルゴリズムを提案します。
私たちの発見を裏付けるために、シミュレートされた環境での実験結果で理論的分析を補完します。

要約(オリジナル)

We study the piecewise constant bandit problem where the expected reward is a piecewise constant function with one change point (discontinuity) across the action space $[0,1]$ and the learner’s aim is to locate the change point. Under the assumption of a fixed exploration budget, we provide the first non-asymptotic analysis of policies designed to locate abrupt changes in the mean reward function under bandit feedback. We study the problem under a large and small budget regime, and for both settings establish lower bounds on the error probability and provide algorithms with near matching upper bounds. Interestingly, our results show a separation in the complexity of the two regimes. We then propose a regime adaptive algorithm which is near optimal for both small and large budgets simultaneously. We complement our theoretical analysis with experimental results in simulated environments to support our findings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google