Quantile Multi-Armed Bandits with 1-bit Feedback

要約

この論文では、リスク感受性とコミュニケーションの制約の要素を含むベストアーム識別のバリアントを研究します。
具体的には、学習者の目標は、最も高い分位の報酬で腕を識別することです。一方、エージェント（報酬を観察する人）と学習者（アクションを選択する）からのコミュニケーションは、アームプルごとに1ビットのフィードバックのみに制限されます。
ノイズの多いバイナリ検索をサブルーチンとして利用するアルゴリズムを提案し、学習者が1ビットフィードバックを通じて分位の報酬を推定できるようにします。
アルゴリズムのサンプルの複雑さにインスタンス依存の上限を導き出し、特定のインスタンスのアルゴリズムに依存しない下限を提供します。
スケーリング体制。
下限は、通信制約がない場合でも適用できます。したがって、1ビットフィードバックに制限することは、サンプルの複雑さのスケーリングに最小限の影響を与えると結論付けます。

要約(オリジナル)

In this paper, we study a variant of best-arm identification involving elements of risk sensitivity and communication constraints. Specifically, the goal of the learner is to identify the arm with the highest quantile reward, while the communication from an agent (who observes rewards) and the learner (who chooses actions) is restricted to only one bit of feedback per arm pull. We propose an algorithm that utilizes noisy binary search as a subroutine, allowing the learner to estimate quantile rewards through 1-bit feedback. We derive an instance-dependent upper bound on the sample complexity of our algorithm and provide an algorithm-independent lower bound for specific instances, with the two matching to within logarithmic factors under mild conditions, or even to within constant factors in certain low error probability scaling regimes. The lower bound is applicable even in the absence of communication constraints, and thus we conclude that restricting to 1-bit feedback has a minimal impact on the scaling of the sample complexity.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google