A Hybrid Cross-Stage Coordination Pre-ranking Model for Online Recommendation Systems

要約

大規模な推奨システムは、多くの場合、検索、事前ランク、ランキング、および再ランクの段階で構成されるカスケードアーキテクチャを採用しています。
厳密な遅延要件により、事前ランクは軽量モデルを利用して、大規模な回収された候補者からの予備的な選択を実行します。
ただし、最近の研究は、下流の段階にのみ依存して、ランキングとの一貫性の向上にのみ焦点を当てています。
ダウンストリーム入力は事前ランク出力から派生しているため、サンプル選択バイアス（SSB）の問題とマシュー効果を悪化させ、最適な結果をもたらします。
制限に対処するために、上流（検索）および下流（ランキング、再ランキング）段階から情報を統合するための新しいハイブリッドクロスステージ調整前（HCCP）を提案します。
具体的には、クロスステージの調整とは、ストリーム全体に対する事前ランクの適応性と、上流と下流の間のより効果的な橋として機能することの役割を指します。
HCCPは、ハイブリッドサンプル構造とハイブリッドの目的最適化で構成されています。
ハイブリッドサンプル構造は、ストリーム全体からマルチレベルの非露出データをキャプチャし、それらを再配置して、事前ランク学習のための最適なガイド「グラウンドトゥルース」になります。
ハイブリッド目標の最適化には、提案されたマージンインフォンセ損失を通じて、一貫性と長期尾の精度の共同最適化が含まれています。
このようなハイブリッドの非露出サンプルから学習し、全体的なパフォーマンスを改善し、SSBの問題を軽減するように特別に設計されています。
付録では、潜在的な陽性を選択する際の提案された損失の有効性の証拠について説明しています。
オフラインおよびオンラインの広範な実験は、HCCPがクロスステージの調整を改善することによりSOTAメソッドを上回ることを示しています。
JD Eコマース推奨システムでは、最大14.9％のUCVRと1.3％のUCTRに寄与します。
コードプライバシーに関しては、参照用の擬似コードを提供します。

要約(オリジナル)

Large-scale recommendation systems often adopt cascading architecture consisting of retrieval, pre-ranking, ranking, and re-ranking stages. With strict latency requirements, pre-ranking utilizes lightweight models to perform a preliminary selection from massive retrieved candidates. However, recent works focus solely on improving consistency with ranking, relying exclusively on downstream stages. Since downstream input is derived from the pre-ranking output, they will exacerbate the sample selection bias (SSB) issue and Matthew effect, leading to sub-optimal results. To address the limitation, we propose a novel Hybrid Cross-Stage Coordination Pre-ranking model (HCCP) to integrate information from upstream (retrieval) and downstream (ranking, re-ranking) stages. Specifically, cross-stage coordination refers to the pre-ranking’s adaptability to the entire stream and the role of serving as a more effective bridge between upstream and downstream. HCCP consists of Hybrid Sample Construction and Hybrid Objective Optimization. Hybrid sample construction captures multi-level unexposed data from the entire stream and rearranges them to become the optimal guiding ‘ground truth’ for pre-ranking learning. Hybrid objective optimization contains the joint optimization of consistency and long-tail precision through our proposed Margin InfoNCE loss. It is specifically designed to learn from such hybrid unexposed samples, improving the overall performance and mitigating the SSB issue. The appendix describes a proof of the efficacy of the proposed loss in selecting potential positives. Extensive offline and online experiments indicate that HCCP outperforms SOTA methods by improving cross-stage coordination. It contributes up to 14.9% UCVR and 1.3% UCTR in the JD E-commerce recommendation system. Concerning code privacy, we provide a pseudocode for reference.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google