Contextual Bandits with Packing and Covering Constraints: A Modular Lagrangian Approach via Regression

要約

線形制約付きコンテキスト バンディット (CBwLC) を検討します。これは、総消費量に対する線形制約に従ってアルゴリズムが複数のリソースを消費するコンテキスト バンディットの変形です。
この問題は、コンテキスト バンディット ウィズ ナップザック (CBwK) を一般化し、制約のパッキングとカバー、および正と負のリソース消費を可能にします。
回帰オラクルに基づいた CBwLC (または CBwK) 用の最初のアルゴリズムを提供します。
このアルゴリズムはシンプルで計算効率が高く、穏やかな仮定のもとでは統計的に最適です。
さらに、確率的環境を超えて CBwLC (または CBwK) に初めての消失リグレット保証を提供します。
私たちは、比較対象となるより弱い (そしておそらくより公平な) ベンチマークを特定することで、以前の研究から生じる強い不可能性の結果を回避します。
私たちのアルゴリズムは、CBwK 用のラグランジアン ベースの手法である LagrangeBwK (Immorlica et al.、FOCS 2019) と、コンテキスト バンディット用の回帰ベースの手法である SquareCB (Foster および Rakhlin、ICML 2020) に基づいて構築されています。
私たちの分析は、両方の技術に固有のモジュール性を活用しています。

要約(オリジナル)

We consider contextual bandits with linear constraints (CBwLC), a variant of contextual bandits in which the algorithm consumes multiple resources subject to linear constraints on total consumption. This problem generalizes contextual bandits with knapsacks (CBwK), allowing for packing and covering constraints, as well as positive and negative resource consumption. We provide the first algorithm for CBwLC (or CBwK) that is based on regression oracles. The algorithm is simple, computationally efficient, and statistically optimal under mild assumptions. Further, we provide the first vanishing-regret guarantees for CBwLC (or CBwK) that extend beyond the stochastic environment. We side-step strong impossibility results from prior work by identifying a weaker (and, arguably, fairer) benchmark to compare against. Our algorithm builds on LagrangeBwK (Immorlica et al., FOCS 2019), a Lagrangian-based technique for CBwK, and SquareCB (Foster and Rakhlin, ICML 2020), a regression-based technique for contextual bandits. Our analysis leverages the inherent modularity of both techniques.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google