Estimating Treatment Effects under Recommender Interference: A Structured Neural Networks Approach

要約

レコメンダーシステムは、パーソナライズされたコンテンツをキュレーションすることで、コンテンツ共有プラットフォームにとって不可欠である。コンテンツクリエイターを対象としたレコメンダーシステムのアップデートを評価するために、プラットフォームはクリエイター側のランダム化実験に頼ることが多い。治療効果は、現状と比較して新しいアルゴリズムが実装された場合の結果の変化を測定する。我々は、標準的な平均差分推定器が、処理されたクリエイターとコントロールされたクリエイターが露出を競うときに生じるレコメンダーの干渉により、偏った推定値を導く可能性があることを示す。我々は、処理項目と対照項目の両方を含むプールからどの項目が露出されるかを記述する「レコメンダー選択モデル」を提案する。構造選択モデルとニューラルネットワークを組み合わせることで、このフレームワークは、視聴者とコンテンツの豊かな異質性を考慮しながら、干渉経路を直接モデル化する。治療効果の非干渉推定量を構築し、それが$sqrt n$無矛盾であり、潜在的に相関のあるサンプルに対して漸近的に正規であることを証明する。Weixinショートビデオプラットフォームを用いたフィールド実験により、本推定量の実証的性能を検証する。標準的な作成者側の実験に加えて、干渉バイアスのないベンチマーク推定値を得るために、コストのかかる両面ランダム化デザインを実施する。我々は、標準的な差分平均推定器が大きなバイアスを示し、符号が逆になることさえあるのに対して、提案する推定器はベンチマークに匹敵する結果をもたらすことを示す。

要約(オリジナル)

Recommender systems are essential for content-sharing platforms by curating personalized content. To evaluate updates to recommender systems targeting content creators, platforms frequently rely on creator-side randomized experiments. The treatment effect measures the change in outcomes when a new algorithm is implemented compared to the status quo. We show that the standard difference-in-means estimator can lead to biased estimates due to recommender interference that arises when treated and control creators compete for exposure. We propose a ‘recommender choice model’ that describes which item gets exposed from a pool containing both treated and control items. By combining a structural choice model with neural networks, this framework directly models the interference pathway while accounting for rich viewer-content heterogeneity. We construct a debiased estimator of the treatment effect and prove it is $\sqrt n$-consistent and asymptotically normal with potentially correlated samples. We validate our estimator’s empirical performance with a field experiment on Weixin short-video platform. In addition to the standard creator-side experiment, we conduct a costly double-sided randomization design to obtain a benchmark estimate free from interference bias. We show that the proposed estimator yields results comparable to the benchmark, whereas the standard difference-in-means estimator can exhibit significant bias and even produce reversed signs.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL