Ranking by Lifts: A Cost-Benefit Approach to Large-Scale A/B Tests

要約

大規模なテストを実施する A/B テスターは、主な結果指標としてリフトを優先することが多く、ヌルの誤った拒否によって生じるコストを制御できるようにしたいと考えています。
この研究では、誤検出率 (FDR) の制御に従って利益を最大化するための意思決定理論のフレームワークを開発します。
私たちは、貪欲なナップサックアプローチを通じて、この問題に対する経験的なベイズ解を構築します。
ローカルの誤検出率 (lfdr) 統計を使用して、期待されるリフト率と誤った拒否のコストのランク付けに基づいてオラクル ルールを導き出します。
私たちのオラクル決定ルールは有効であり、大規模なテストに最適です。
さらに、データ駆動型手順の漸近的妥当性を確立し、実験研究で有限サンプルの妥当性を実証します。
また、他の FDR 制御手法に対する提案手法の利点を示します。
最後に、Optimizely プラットフォームでの実験によって収集されたデータへの応用について説明します。

要約(オリジナル)

A/B testers that conduct large-scale tests often prioritize lifts as the main outcome metric and want to be able to control costs resulting from false rejections of the null. This work develops a decision-theoretic framework for maximizing profits subject to false discovery rate (FDR) control. We build an empirical Bayes solution for the problem via a greedy knapsack approach. We derive an oracle rule based on ranking the ratio of expected lifts and the cost of wrong rejections using the local false discovery rate (lfdr) statistic. Our oracle decision rule is valid and optimal for large-scale tests. Further, we establish asymptotic validity for the data-driven procedure and demonstrate finite-sample validity in experimental studies. We also demonstrate the merit of the proposed method over other FDR control methods. Finally, we discuss an application to data collected by experiments on the Optimizely platform.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google