Variance reduction combining pre-experiment and in-experiment data

要約

オンライン制御実験 (A/B テスト) は、多くの企業にとってデータ主導の意思決定に不可欠です。
これらの実験の感度を高めるには、特にサンプル サイズが固定されている場合、平均治療効果 (ATE) の推定量の分散を減らすことが重要です。
CUPED や CUPAC などの既存の手法は、分散を減らすために実験前データを使用しますが、その有効性は実験前データと結果の相関関係に依存します。
対照的に、実験中のデータは結果とより強い相関があることが多く、したがってより有益です。
この論文では、実験前と実験中のデータの両方を組み合わせて、バイアスや追加の計算の複雑さを導入することなく、CUPED や CUPAC よりも大きな分散削減を達成する新しい方法を紹介します。
また、漸近理論を確立し、手法に一貫した分散推定量を提供します。
この方法を Etsy での複数のオンライン実験に適用すると、実験中の共変量をわずかに含めるだけで、CUPAC よりも大幅な分散の減少に達しました。
これらの結果は、実験の感度を大幅に向上させ、意思決定を迅速化するための私たちのアプローチの可能性を強調しています。

要約(オリジナル)

Online controlled experiments (A/B testing) are essential in data-driven decision-making for many companies. Increasing the sensitivity of these experiments, particularly with a fixed sample size, relies on reducing the variance of the estimator for the average treatment effect (ATE). Existing methods like CUPED and CUPAC use pre-experiment data to reduce variance, but their effectiveness depends on the correlation between the pre-experiment data and the outcome. In contrast, in-experiment data is often more strongly correlated with the outcome and thus more informative. In this paper, we introduce a novel method that combines both pre-experiment and in-experiment data to achieve greater variance reduction than CUPED and CUPAC, without introducing bias or additional computation complexity. We also establish asymptotic theory and provide consistent variance estimators for our method. Applying this method to multiple online experiments at Etsy, we reach substantial variance reduction over CUPAC with the inclusion of only a few in-experiment covariates. These results highlight the potential of our approach to significantly improve experiment sensitivity and accelerate decision-making.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google