Delayed Feedback in Generalised Linear Bandits Revisited

要約

【タイトル】一般化された線形バンディットでの遅延フィードバックの再検討

【要約】
– 確率的一般化線形バンディットは、即時フィードバックの下でほぼ最適な後悔保証を達成する多くのアルゴリズムを持った連続的な意思決定問題のよく理解されたモデルである。
– 即時報酬に対する厳格な要件は、報酬がほとんど常に遅れる多くの現実世界の応用で満たされていない。
– 我々は一般化された線形バンディットで遅延報酬現象を理論的に研究した。
– 過度に楽観的なアルゴリズムの自然な適応により遅延フィードバックを実現し、遅延ペナルティがホライズンに依存しない後悔境界を達成することを示す。
– この結果は、遅延ペナルティの最良の既知の後悔保証がホライズンに比例して増加する既存の研究よりも著しく改善されている。
– シミュレーションされたデータの実験により、我々の理論的結果を検証する。

要約(オリジナル)

The stochastic generalised linear bandit is a well-understood model for sequential decision-making problems, with many algorithms achieving near-optimal regret guarantees under immediate feedback. However, the stringent requirement for immediate rewards is unmet in many real-world applications where the reward is almost always delayed. We study the phenomenon of delayed rewards in generalised linear bandits in a theoretical manner. We show that a natural adaptation of an optimistic algorithm to the delayed feedback achieves a regret bound where the penalty for the delays is independent of the horizon. This result significantly improves upon existing work, where the best known regret bound has the delay penalty increasing with the horizon. We verify our theoretical results through experiments on simulated data.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI