Improved prediction of future user activity in online A/B testing

要約

オンライン無作為化実験やA/Bテストでは、参加者の包含率の正確な予測が最も重要である。これらの予測は、実験者が実験期間を最適化する際の指針となるだけでなく、治療効果の推定精度を高める。本論文では、オンラインA/Bテストの領域において、個人が介入にさらされる割合を予測するための、新規で、わかりやすく、スケーラブルなベイズノンパラメトリックアプローチを提示する。我々のアプローチは、二重の予測能力を提供することで際立っている：それは、将来の時間窓で予想される新規顧客の量と、利用可能な代替手法とは異なり、彼らが観察される回数の両方を予測する。我々は、将来のユーザー活動に関する予測を形成するために必要な量の事後分布の閉形式を導出し、それによってマルコフ連鎖モンテカルロのような数値アルゴリズムの必要性を回避する。我々のモデルの包括的な説明の後、実データとシミュレートされたデータを用いた実験でその性能をテストし、文献にある既存の代替案に対して優れた性能を示す。

要約(オリジナル)

In online randomized experiments or A/B tests, accurate predictions of participant inclusion rates are of paramount importance. These predictions not only guide experimenters in optimizing the experiment’s duration but also enhance the precision of treatment effect estimates. In this paper we present a novel, straightforward, and scalable Bayesian nonparametric approach for predicting the rate at which individuals will be exposed to interventions within the realm of online A/B testing. Our approach stands out by offering dual prediction capabilities: it forecasts both the quantity of new customers expected in future time windows and, unlike available alternative methods, the number of times they will be observed. We derive closed-form expressions for the posterior distributions of the quantities needed to form predictions about future user activity, thereby bypassing the need for numerical algorithms such as Markov chain Monte Carlo. After a comprehensive exposition of our model, we test its performance on experiments on real and simulated data, where we show its superior performance with respect to existing alternatives in the literature.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL