On the Practice of Deep Hierarchical Ensemble Network for Ad Conversion Rate Prediction

要約

クリックスルーレート（CTR）と変換レート（CVR）の予測は、広告推奨システムの成功に重要な役割を果たします。
深い階層アンサンブルネットワーク（DHEN）が、複数の機能交差モジュールを統合するために提案されており、CTR予測で大きな成功を収めています。
ただし、CVR予測のパフォーマンスは、購入、カートへの追加、サインアップなどを含むサードパーティのWebサイトまたはアプリでユーザーのオフサイトアクションの確率にADが入札するため、DHENのいくつかの課題：1）dhen（MLP、DCN、Transformer、emance in nec）を含むものを含むいくつかの課題を含むADが入札されます。
2）効率と有効性の間の最高のトレードオフを達成するために、Dhenはどれほど深く幅広くすべきでしょうか？
3）各機能交差モジュールで選択できるハイパーパラメーターは何ですか？
モデルアーキテクチャの直交である入力パーソナライズ機能は、高度な自由度でモデルのパフォーマンスにも大きな影響を与えます。
このホワイトペーパーでは、この問題を攻撃し、次のような応用データサイエンスの側面に偏った貢献を提示します。まず、DHENを使用したマルチタスク学習フレームワークを単一のバックボーンモデルアーキテクチャとして提案し、すべてのCVRタスクを予測し、DHENを実践的に効果的に機能させる方法に関する詳細な研究を行います。
第二に、CVR予測のためにオンサイトのリアルタイムユーザー動作シーケンスとオフサイト変換イベントシーケンスの両方を構築し、その重要性に関するアブレーション研究を実施します。
最後になりましたが、CVR予測のラベルのスパースネスの問題を解決するために、入力シーケンスの将来のアクションを予測するために、自己監視の補助的損失を提案します。
当社の方法は、事前に訓練されたユーザーパーソナライズ機能を備えた以前の単一機能交差モジュールと比較して、最先端のパフォーマンスを実現します。

要約(オリジナル)

The predictions of click through rate (CTR) and conversion rate (CVR) play a crucial role in the success of ad-recommendation systems. A Deep Hierarchical Ensemble Network (DHEN) has been proposed to integrate multiple feature crossing modules and has achieved great success in CTR prediction. However, its performance for CVR prediction is unclear in the conversion ads setting, where an ad bids for the probability of a user’s off-site actions on a third party website or app, including purchase, add to cart, sign up, etc. A few challenges in DHEN: 1) What feature-crossing modules (MLP, DCN, Transformer, to name a few) should be included in DHEN? 2) How deep and wide should DHEN be to achieve the best trade-off between efficiency and efficacy? 3) What hyper-parameters to choose in each feature-crossing module? Orthogonal to the model architecture, the input personalization features also significantly impact model performance with a high degree of freedom. In this paper, we attack this problem and present our contributions biased to the applied data science side, including: First, we propose a multitask learning framework with DHEN as the single backbone model architecture to predict all CVR tasks, with a detailed study on how to make DHEN work effectively in practice; Second, we build both on-site real-time user behavior sequences and off-site conversion event sequences for CVR prediction purposes, and conduct ablation study on its importance; Last but not least, we propose a self-supervised auxiliary loss to predict future actions in the input sequence, to help resolve the label sparseness issue in CVR prediction. Our method achieves state-of-the-art performance compared to previous single feature crossing modules with pre-trained user personalization features.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google