A Tractable Online Learning Algorithm for the Multinomial Logit Contextual Bandit

要約

この論文では、MNL-Bandit 問題の文脈バリアントを検討します。
より具体的には、意思決定者が製品のサブセット (品揃え) を消費者に提供し、すべてのラウンドで応答を観察する、動的セット最適化問題を検討します。
消費者は、効用を最大化するために製品を購入します。
一連の属性が製品を記述し、製品の平均効用はこれらの属性の値に線形であると仮定します。
広く使用されている多項ロジット (MNL) モデルを使用して消費者の選択行動をモデル化し、販売期間 $T$ での累積収益を最適化しながらモデル パラメーターを動的に学習する意思決定者の問題を検討します。
この問題は最近かなりの注目を集めていますが、多くの既存の方法では、扱いにくい非凸最適化問題を解決する必要があります。
それらの理論上のパフォーマンスの保証は、法外に大きくなる可能性がある問題に依存するパラメーターに依存します。
特に、この問題に対する既存のアルゴリズムは、$O(\sqrt{\kappa d T})$ で制限されていることを後悔しています。ここで、$\kappa$ は問題依存の定数であり、属性の数に指数関数的に依存する可能性があります。
この論文では、楽観的アルゴリズムを提案し、後悔が $O(\sqrt{dT} + \kappa)$ によって制限され、既存の方法よりもパフォーマンスが大幅に向上することを示します。
さらに、最適化ステップの凸状の緩和を提案します。これにより、有利な後悔の保証を維持しながら、扱いやすい意思決定が可能になります。

要約(オリジナル)

In this paper, we consider the contextual variant of the MNL-Bandit problem. More specifically, we consider a dynamic set optimization problem, where a decision-maker offers a subset (assortment) of products to a consumer and observes the response in every round. Consumers purchase products to maximize their utility. We assume that a set of attributes describe the products, and the mean utility of a product is linear in the values of these attributes. We model consumer choice behavior using the widely used Multinomial Logit (MNL) model and consider the decision maker problem of dynamically learning the model parameters while optimizing cumulative revenue over the selling horizon $T$. Though this problem has attracted considerable attention in recent times, many existing methods often involve solving an intractable non-convex optimization problem. Their theoretical performance guarantees depend on a problem-dependent parameter which could be prohibitively large. In particular, existing algorithms for this problem have regret bounded by $O(\sqrt{\kappa d T})$, where $\kappa$ is a problem-dependent constant that can have an exponential dependency on the number of attributes. In this paper, we propose an optimistic algorithm and show that the regret is bounded by $O(\sqrt{dT} + \kappa)$, significantly improving the performance over existing methods. Further, we propose a convex relaxation of the optimization step, which allows for tractable decision-making while retaining the favourable regret guarantee.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google