Learning to Rank under Multinomial Logit Choice

要約

コンテンツの最適な順序を学習することは、ウェブサイト設計の重要な課題である。LTR（Learning to Rank）フレームワークは、この問題を、コンテンツのリストを選択し、ユーザーがどこをクリックするか観察する逐次的な問題としてモデル化する。LTRの先行研究の多くは、ユーザーがリストの各項目を個別に検討し、それぞれをクリックするかしないかの二者択一を行うと仮定している。このモデルは、順序付けられたリストを全体として考慮し、すべての項目とクリックしないオプションの中から単一の選択を行うユーザーの行動を捕らえるものである。MNLモデルでは、ユーザーは、本質的に魅力的なアイテムや、リスト内の好ましい位置に配置されたアイテムを支持する。我々は、位置依存のパラメータが既知と未知の2つの設定において、後悔を最小化する上部信頼境界（UCB）アルゴリズムを提案する。この問題の$Omega( \sqrt{JT})$ 下界、パラメータ既知の設定におけるUCBアルゴリズムの後悔の$tilde{O}( \sqrt{JT})$ 上界、より難しい位置パラメータ未知の設定における最初の後悔の$tilde{O} (K^2sqrt{JT})$ 上界に至る理論解析を提示します。我々の分析は、幾何学的確率変数の新しい濃縮結果と、離散データで計算される最尤推定量に対する新しい関数不等式に基づいている。

要約(オリジナル)

Learning the optimal ordering of content is an important challenge in website design. The learning to rank (LTR) framework models this problem as a sequential problem of selecting lists of content and observing where users decide to click. Most previous work on LTR assumes that the user considers each item in the list in isolation, and makes binary choices to click or not on each. We introduce a multinomial logit (MNL) choice model to the LTR framework, which captures the behaviour of users who consider the ordered list of items as a whole and make a single choice among all the items and a no-click option. Under the MNL model, the user favours items which are either inherently more attractive, or placed in a preferable position within the list. We propose upper confidence bound (UCB) algorithms to minimise regret in two settings – where the position dependent parameters are known, and unknown. We present theoretical analysis leading to an $\Omega(\sqrt{JT})$ lower bound for the problem, an $\tilde{O}(\sqrt{JT})$ upper bound on regret of the UCB algorithm in the known-parameter setting, and an $\tilde{O}(K^2\sqrt{JT})$ upper bound on regret, the first, in the more challenging unknown-position-parameter setting. Our analyses are based on tight new concentration results for Geometric random variables, and novel functional inequalities for maximum likelihood estimators computed on discrete data.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL