Contextual bandits with concave rewards, and an application to fair ranking

要約

Concave Rewards (CBCR) を使用した Contextual Bandits を検討します。これは、報酬間の望ましいトレードオフが既知の凹型目的関数によって定義され、報酬ベクトルが観測された確率的コンテキストに依存する多目的バンディット問題です。
以前の研究は有限のポリシー空間または表形式の表現に制限されていたのに対し、ポリシー空間の制限なしに CBCR の遺憾を証明できる最初のアルゴリズムを提示します。
私たちのソリューションは、CBCR アルゴリズムの幾何学的解釈に基づいており、すべての確率的ポリシーにまたがる予想される報酬の凸集合に対する最適化アルゴリズムです。
制約付き凸最適化における Frank-Wolfe 分析に基づいて、CBCR の後悔からスカラー報酬バンディット問題の後悔への新しい削減を導き出します。
非組み合わせアクションの場合に、既製の削減を適用して、線形および一般的な報酬関数の両方を備えた CBCR のアルゴリズムを取得する方法を示します。
レコメンデーションの公平性に動機付けられた、ランキングと公平性を意識した目的を備えた CBCR の特別なケースについて説明し、露出の公平性を備えたコンテキスト組み合わせバンディットの後悔を保証する最初のアルゴリズムにつながります。

要約(オリジナル)

We consider Contextual Bandits with Concave Rewards (CBCR), a multi-objective bandit problem where the desired trade-off between the rewards is defined by a known concave objective function, and the reward vector depends on an observed stochastic context. We present the first algorithm with provably vanishing regret for CBCR without restrictions on the policy space, whereas prior works were restricted to finite policy spaces or tabular representations. Our solution is based on a geometric interpretation of CBCR algorithms as optimization algorithms over the convex set of expected rewards spanned by all stochastic policies. Building on Frank-Wolfe analyses in constrained convex optimization, we derive a novel reduction from the CBCR regret to the regret of a scalar-reward bandit problem. We illustrate how to apply the reduction off-the-shelf to obtain algorithms for CBCR with both linear and general reward functions, in the case of non-combinatorial actions. Motivated by fairness in recommendation, we describe a special case of CBCR with rankings and fairness-aware objectives, leading to the first algorithm with regret guarantees for contextual combinatorial bandits with fairness of exposure.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google