KDSM: An uplift modeling framework based on knowledge distillation and sample matching

要約

アップリフトモデリングは、個人に対する治療効果を推定することを目的としており、説得力のある顧客をターゲットとし、マーケティング活動のリターンを最大化するために、電子商取引のプラットフォームで広く適用されています。既存のアップリフトモデリング手法のうち、ツリーベースの手法はフィッティング増分と汎化に優れ、ニューラルネットワークベースのモデルは絶対値と精度の予測に優れており、これらの利点は十分に検討・結合されていません。また、反実仮想のサンプルペアがないことが、アップリフトモデリングにおける根本的な課題となっている。本論文では、KDSM（Knowledge Distillation and Sample Matching）に基づくアップリフトモデリングのフレームワークを提案した。教師モデルはアップリフト決定木（UpliftDT）であり、その構造を利用して反事実的なサンプルペアを構築し、ペアごとの増分予測は生徒モデルの別の目的として扱われる。マルチタスク学習の考え方の下、生徒モデルは汎化においてより良いパフォーマンスを達成することができ、教師を上回ることさえできる。広範なオフライン実験により、教師と生徒モデルの異なる組み合わせの普遍性と、ベースラインに対するKDSMの優位性が検証された。オンラインA/Bテストでは、各増分の宿泊コストが6.5%削減されました。

要約(オリジナル)

Uplift modeling aims to estimate the treatment effect on individuals, widely applied in the e-commerce platform to target persuadable customers and maximize the return of marketing activities. Among the existing uplift modeling methods, tree-based methods are adept at fitting increment and generalization, while neural-network-based models excel at predicting absolute value and precision, and these advantages have not been fully explored and combined. Also, the lack of counterfactual sample pairs is the root challenge in uplift modeling. In this paper, we proposed an uplift modeling framework based on Knowledge Distillation and Sample Matching (KDSM). The teacher model is the uplift decision tree (UpliftDT), whose structure is exploited to construct counterfactual sample pairs, and the pairwise incremental prediction is treated as another objective for the student model. Under the idea of multitask learning, the student model can achieve better performance on generalization and even surpass the teacher. Extensive offline experiments validate the universality of different combinations of teachers and student models and the superiority of KDSM measured against the baselines. In online A/B testing, the cost of each incremental room night is reduced by 6.5\%.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL