Multi-Armed Bandits with Generalized Temporally-Partitioned Rewards

要約

過去に下された決定が将来に影響を与える可能性がある、シーケンシャルな性質の意思決定の問題は、実際に重要な多くのアプリケーションをモデル化するために使用されます。
一部の実際のアプリケーションでは、決定に関するフィードバックが遅れており、さまざまな遅延で観察される部分的な報酬を介して到着する場合があります。
このようなシナリオに動機付けられて、一般化された時間的に分割された報酬を備えた多腕バンディットと呼ばれる新しい問題の定式化を提案します。
決定に関するフィードバックが複数の時間ステップに分割される方法を形式化するために、$\beta$-spread プロパティを導入します。
考慮されている問題に対して一様に効率的なアルゴリズムのパフォーマンスの下限を導き出します。
さらに、TP-UCB-FR-G と呼ばれるアルゴリズムを提供し、そのパフォーマンス測定値の上限を証明します。
一部のシナリオでは、上限が最新技術よりも改善されています。
提案されたアルゴリズムと理論的結果を検証する実験結果を提供します。

要約(オリジナル)

Decision-making problems of sequential nature, where decisions made in the past may have an impact on the future, are used to model many practically important applications. In some real-world applications, feedback about a decision is delayed and may arrive via partial rewards that are observed with different delays. Motivated by such scenarios, we propose a novel problem formulation called multi-armed bandits with generalized temporally-partitioned rewards. To formalize how feedback about a decision is partitioned across several time steps, we introduce $\beta$-spread property. We derive a lower bound on the performance of any uniformly efficient algorithm for the considered problem. Moreover, we provide an algorithm called TP-UCB-FR-G and prove an upper bound on its performance measure. In some scenarios, our upper bound improves upon the state of the art. We provide experimental results validating the proposed algorithm and our theoretical results.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google