Validation of massively-parallel adaptive testing using dynamic control matching

要約

タイトル：動的制御マッチングを使用した大規模並列適応テストの検証

要約：
– A/Bテストは、因果効果の特定が保証されており、多くのメッセージング配信ソフトウェアプラットフォームで直接実装されているため、マーケティング最適化において広く使用されています。
– しかし、現代のビジネスは、しばしば同時に多数のA/B/nテストを並列して実行し、多数のコンテンツ変更を同じメッセージにパッケージングします。これらの変更のうち、明示的なテストに含まれていないものもあります。
– 多くのチームが同時にテストを行うことが原因であるか、前の結果に基づいてテストとテスト条件の割り当てを継続的に適応するより高度な強化学習（RL）アプローチの一部としてであるかに関わらず、動的並列テストは従来のA/Bテストと同じ方法で評価することはできません。
– 本論文では、テストに適応するマッチングシンセティックコントロールグループを使用して、連続的なテスト適応の条件下でさまざまなテストの因果効果を区別する方法を示しています。

要約(オリジナル)

A/B testing is a widely-used paradigm within marketing optimization because it promises identification of causal effects and because it is implemented out of the box in most messaging delivery software platforms. Modern businesses, however, often run many A/B/n tests at the same time and in parallel, and package many content variations into the same messages, not all of which are part of an explicit test. Whether as the result of many teams testing at the same time, or as part of a more sophisticated reinforcement learning (RL) approach that continuously adapts tests and test condition assignment based on previous results, dynamic parallel testing cannot be evaluated the same way traditional A/B tests are evaluated. This paper presents a method for disentangling the causal effects of the various tests under conditions of continuous test adaptation, using a matched-synthetic control group that adapts alongside the tests.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI