VITS : Variational Inference Thompson Sampling for contextual bandits

要約

本稿では、文脈盗賊のためのトンプソンサンプリング(TS)アルゴリズムの変形を紹介し、解析する。従来のTSは各ラウンドにおいて、現在の事後分布からのサンプルを必要とするが、これは通常実行不可能である。この問題を回避するために、近似推論技術を用いることができ、事後分布に近い分布を持つサンプルを得ることができる。しかし、現在の近似手法は、推定が不十分であったり（ラプラス近似）、計算コストが高かったりする（MCMC法、アンサンブルサンプリング…）。本稿では、ガウス変分推論に基づく新しいアルゴリズム、Varational Inference Thompson sampling VITSを提案する。この方式は、サンプリングが容易で、計算効率の高い強力な事後近似を提供し、TSに理想的な選択となる。さらに、VITSが線形文脈バンディットにおいて、従来のTSと同じ次元とラウンド数で劣線形後悔境界を達成することを示す。最後に、VITSの有効性を合成データセットと実世界データセットの両方で実験的に実証する。

要約(オリジナル)

In this paper, we introduce and analyze a variant of the Thompson sampling (TS) algorithm for contextual bandits. At each round, traditional TS requires samples from the current posterior distribution, which is usually intractable. To circumvent this issue, approximate inference techniques can be used and provide samples with distribution close to the posteriors. However, current approximate techniques yield to either poor estimation (Laplace approximation) or can be computationally expensive (MCMC methods, Ensemble sampling…). In this paper, we propose a new algorithm, Varational Inference Thompson sampling VITS, based on Gaussian Variational Inference. This scheme provides powerful posterior approximations which are easy to sample from, and is computationally efficient, making it an ideal choice for TS. In addition, we show that VITS achieves a sub-linear regret bound of the same order in the dimension and number of round as traditional TS for linear contextual bandit. Finally, we demonstrate experimentally the effectiveness of VITS on both synthetic and real world datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL