Estimating Treatment Effects under Recommender Interference: A Structured Neural Networks Approach

要約

レコメンダー システムは、パーソナライズされたコンテンツをキュレーションすることにより、コンテンツ共有プラットフォームに不可欠です。
コンテンツ クリエイターを対象としたレコメンダー システムの更新を評価するために、プラットフォームは頻繁にクリエイター側でランダム化された実験を行って治療効果を推定します。治療効果は、プラットフォームに新しい (現状と比較した) アルゴリズムが導入された場合の結果の差として定義されます。
標準的な平均差推定量が偏った治療効果推定値につながる可能性があることを示します。
このバイアスは、レコメンダーの干渉によって発生します。レコメンダーの干渉は、トリートメント クリエイターとコントロール クリエイターがレコメンダー システムを通じて露出を求めて競合するときに発生します。
我々は、処理対象コンテンツ項目と制御コンテンツ項目の両方で構成されるプールの中から項目がどのように選択されるかを捕捉する「レコメンダー選択モデル」を提案します。
構造選択モデルとニューラル ネットワークを組み合わせることで、このフレームワークは、豊富な視聴者コンテンツの異質性を考慮しながら、微細な根拠に基づいた方法で干渉経路を直接モデル化します。
このモデルを使用して、一貫性があり漸近的に正規となる治療効果の二重/偏りのない推定量を構築します。
Weixin ショートビデオ プラットフォームでのフィールド実験でその実証的パフォーマンスを実証します。標準的なクリエイター側の実験に加えて、コストのかかるブロック化された両面ランダム化設計を実行して、干渉バイアスのないベンチマーク推定値を取得します。
提案された推定量は、標準的な平均差推定量と比較して、治療効果推定値の偏りを大幅に低減することを示します。

要約(オリジナル)

Recommender systems are essential for content-sharing platforms by curating personalized content. To evaluate updates of recommender systems targeting content creators, platforms frequently engage in creator-side randomized experiments to estimate treatment effect, defined as the difference in outcomes when a new (vs. the status quo) algorithm is deployed on the platform. We show that the standard difference-in-means estimator can lead to a biased treatment effect estimate. This bias arises because of recommender interference, which occurs when treated and control creators compete for exposure through the recommender system. We propose a ‘recommender choice model’ that captures how an item is chosen among a pool comprised of both treated and control content items. By combining a structural choice model with neural networks, the framework directly models the interference pathway in a microfounded way while accounting for rich viewer-content heterogeneity. Using the model, we construct a double/debiased estimator of the treatment effect that is consistent and asymptotically normal. We demonstrate its empirical performance with a field experiment on Weixin short-video platform: besides the standard creator-side experiment, we carry out a costly blocked double-sided randomization design to obtain a benchmark estimate without interference bias. We show that the proposed estimator significantly reduces the bias in treatment effect estimates compared to the standard difference-in-means estimator.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google