Correcting for Interference in Experiments: A Case Study at Douyin

要約

タイトル：Douyinにおける干渉の修正：事例研究

要約：
– 干渉は、Douyinなどの両側コンテンツマーケットプレイスで行われる実験において広く問題となる
– 多くの場合、クリエイターが実験の自然な単位であるが、視聴者の時間と注意の限られた状況で相互に干渉し合うため、これが問題となる
– 実践で現在使用されている「素朴な」推定器は、単純に干渉を無視するが、この方法では処理効果のオーダーでバイアスが発生する
– 我々は、このような実験における推論の問題を政策評価の一つとして形式化する
– この政策評価をオフポリシー評価器によって行うことはバイアスを防ぐことができるが、高二乗分散で実用的でない
– 我々は、DQ技術に基づく新しいモンテカルロ評価器を導入し、処理効果に関してバイアスが二次項であるが推定にサンプルを効率的に使用することができる
– 理論的な面では、政策評価のためのテイラー展開の汎用理論を開発し、すべての主要なMDPフォーミュレーションにDQ理論を拡張した
– 実践面では、Douyinの実験プラットフォームで我々の評価器を実装し、DQを真の「プラグアンドプレイ」評価器に発展させ、現実世界の設定で頑健で低バイアスで低分散の処理効果推定を提供する。計算上の安価で漸近的に正確な不確実性評価が可能であり、我々のアプリケーションにおいて最良の既存の代替品と比較してMSEを99％削減する。

要約(オリジナル)

Interference is a ubiquitous problem in experiments conducted on two-sided content marketplaces, such as Douyin (China’s analog of TikTok). In many cases, creators are the natural unit of experimentation, but creators interfere with each other through competition for viewers’ limited time and attention. ‘Naive’ estimators currently used in practice simply ignore the interference, but in doing so incur bias on the order of the treatment effect. We formalize the problem of inference in such experiments as one of policy evaluation. Off-policy estimators, while unbiased, are impractically high variance. We introduce a novel Monte-Carlo estimator, based on ‘Differences-in-Qs’ (DQ) techniques, which achieves bias that is second-order in the treatment effect, while remaining sample-efficient to estimate. On the theoretical side, our contribution is to develop a generalized theory of Taylor expansions for policy evaluation, which extends DQ theory to all major MDP formulations. On the practical side, we implement our estimator on Douyin’s experimentation platform, and in the process develop DQ into a truly ‘plug-and-play’ estimator for interference in real-world settings: one which provides robust, low-bias, low-variance treatment effect estimates; admits computationally cheap, asymptotically exact uncertainty quantification; and reduces MSE by 99\% compared to the best existing alternatives in our applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI