Doubly robust Thompson sampling for linear payoffs

要約

タイトル：線形ペイオフのためのダブルロバスト・トンプソン・サンプリング

要約：
– バンディット問題は、確率的な報酬が選択された腕のみに観察され、他の腕の報酬は不明である。また、腕の選択は過去の文脈と報酬の組み合わせに依存しているため、後悔の解析の複雑さを増している。
– 本論文では、ダブルロバスト推定方法を用いたノベルな多腕バンディットアルゴリズム「Doubly Robust (DR) Thompson Sampling」を提案する。
– 従来の欠損データの技術に依存する既存の手法とは異なり、提案されたアルゴリズムは新しい加算後悔分解を可能とし、$\tilde{O}(\phi^{-2}\sqrt{T})$の改善された後悔バウンドを提供する。
– 本手法は選択されたかどうかにかかわらず、すべての文脈データを活用するため、理論的解析で用いられる未飽和腕の技術的定義を回避することができる。
– 経験的研究により、提案されたアルゴリズムが従来手法よりも優れていることが示された。

要約(オリジナル)

A challenging aspect of the bandit problem is that a stochastic reward is observed only for the chosen arm and the rewards of other arms remain missing. The dependence of the arm choice on the past context and reward pairs compounds the complexity of regret analysis. We propose a novel multi-armed contextual bandit algorithm called Doubly Robust (DR) Thompson Sampling employing the doubly-robust estimator used in missing data literature to Thompson Sampling with contexts (\texttt{LinTS}). Different from previous works relying on missing data techniques (\citet{dimakopoulou2019balanced}, \citet{kim2019doubly}), the proposed algorithm is designed to allow a novel additive regret decomposition leading to an improved regret bound with the order of $\tilde{O}(\phi^{-2}\sqrt{T})$, where $\phi^2$ is the minimum eigenvalue of the covariance matrix of contexts. This is the first regret bound of \texttt{LinTS} using $\phi^2$ without the dimension of the context, $d$. Applying the relationship between $\phi^2$ and $d$, the regret bound of the proposed algorithm is $\tilde{O}(d\sqrt{T})$ in many practical scenarios, improving the bound of \texttt{LinTS} by a factor of $\sqrt{d}$. A benefit of the proposed method is that it utilizes all the context data, chosen or not chosen, thus allowing to circumvent the technical definition of unsaturated arms used in theoretical analysis of \texttt{LinTS}. Empirical studies show the advantage of the proposed algorithm over \texttt{LinTS}.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI