NCS4CVR: Neuron-Connection Sharing for Multi-Task Learning in Video Conversion Rate Prediction

要約

クリックスルー率 (CTR) とポスト クリック コンバージョン率 (CVR) の予測は、レコメンダー システム、広告、検索エンジンなどの産業用ランキング システムの 2 つの基本的なモジュールです。
CVR は CTR よりもサンプル数がはるかに少ないため (CVR データの希薄性の問題として知られています)、既存の研究のほとんどは CTR と CVR のマルチタスク学習を活用して CVR のパフォーマンスを向上させようとしています。
ただし、CVR タスクと CTR タスク間で 1 つのレイヤー内のすべてのニューロンまたはニューロン接続を共有する必要があるわけではないため、一般的な粗粒度のサブネットワーク/レイヤー共有方法では競合が発生し、パフォーマンスが低下する可能性があります。
これは、詳細な消費とクリック行動 (それぞれ CVR と CTR で表される) の間で、ユーザーが異なるきめ細かいコンテンツ機能の好みを持っている可能性があるためです。
この共有と競合の問題に対処するために、NCS4CVR という名前のニューロン接続レベル共有を備えた新しいマルチタスク CVR モデリング スキームを提案します。これは、人為的な経験なしで、どのニューロンの重みが共有されているか共有されていないかを自動的かつ柔軟に学習できます。
これまでの層レベルの共有方法と比較して、ニューロン接続レベルでの細粒度の CTR&CVR 共有方法が提案されたのはこれが初めてであり、これは共有レベルの研究パラダイム シフトです。
オフラインとオンラインの両方の実験で、私たちの方法が単一タスク モデルとレイヤーレベルの共有モデルの両方よりも優れていることが示されています。
私たちが提案した方法は、現在、主要なトラフィックを処理する業界のビデオ レコメンデーション システムに正常に展開されています。

要約(オリジナル)

Click-through rate (CTR) and post-click conversion rate (CVR) predictions are two fundamental modules in industrial ranking systems such as recommender systems, advertising, and search engines. Since CVR involves much fewer samples than CTR (known as the CVR data sparsity problem), most of the existing works try to leverage CTR&CVR multi-task learning to improve CVR performance. However, typical coarse-grained sub-network/layer sharing methods may introduce conflicts and lead to performance degradation, since not every neuron or neuron connection in one layer should be shared between CVR and CTR tasks. This is because users may have different fine-grained content feature preferences between deep consumption and click behavior, represented by CVR and CTR, respectively. To address this sharing&conflict problem, we propose a novel multi-task CVR modeling scheme with neuron-connection level sharing named NCS4CVR, which can automatically and flexibly learn which neuron weights are shared or not shared without artificial experience. Compared with previous layer-level sharing methods, this is the first time that a fine-grained CTR&CVR sharing method at the neuron connection level is proposed, which is a research paradigm shift in the sharing level. Both offline and online experiments demonstrate that our method outperforms both the single-task model and the layer-level sharing model. Our proposed method has now been successfully deployed in an industry video recommender system serving major traffic.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google