Best of Three Worlds: Adaptive Experimentation for Digital Marketing in Practice

要約

適応実験計画 (AED) 手法は、従来の A/B/N テスト手法と比較してテストのスループットを向上させたり、実験コストを削減したりするためのツールとして、産業界でますます使用されています。
ただし、そのような方法の動作と保証は、理想的な定常設定以外にはよく理解されていません。
この文書では、非定常性が蔓延する産業環境で AED システムを単純に使用することの課題に関して学んだ教訓を共有するとともに、そのような環境における適切な目的とシステム仕様についての展望も提供します。
私たちはこれらの経験に基づいて反事実推論のための AED フレームワークを開発し、商用環境でテストしました。

要約(オリジナル)

Adaptive experimental design (AED) methods are increasingly being used in industry as a tool to boost testing throughput or reduce experimentation cost relative to traditional A/B/N testing methods. However, the behavior and guarantees of such methods are not well-understood beyond idealized stationary settings. This paper shares lessons learned regarding the challenges of naively using AED systems in industrial settings where non-stationarity is prevalent, while also providing perspectives on the proper objectives and system specifications in such settings. We developed an AED framework for counterfactual inference based on these experiences, and tested it in a commercial environment.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google