Learning Cascade Ranking as One Network

要約

Cascadeランキングは、推奨プラットフォームや広告プラットフォームなどの大規模なTOP-K選択システムの一般的なアーキテクチャです。
従来のトレーニング方法は、段階間の相互作用を無視して、単一段階の最適化に焦点を当てています。
RANKFLOWやFS-LTRなどの最近の進歩により、インタラクションが認識しているトレーニングパラダイムが導入されましたが、1）トレーニング目標をカスケードランキング全体（つまり、エンドツーエンドのリコール）の目標と整列させ、2）さまざまな段階の効果的なコラボレーションパターンを学ぶことに苦労しています。
これらの課題に対処するために、LCRONを提案します。LCRONは、グラウンドトゥルースアイテムがカスケードランキングによって選択され、システムの全体的な目的との整合を確保するという下限の確率から派生した新しい代理損失関数を導入します。
導出されたバウンドの特性によれば、各ステージの補助損失をさらに設計して、このバウンドの削減を促進し、より堅牢で効果的なTOP-K選択につながります。
Lcronは、統一ネットワークとしてカスケードランキングシステム全体のエンドツーエンドトレーニングを可能にします。
実験結果は、LCRONがパブリックベンチマークや産業用途での既存の方法よりも大幅に改善され、カスケードランキングトレーニングの重要な制限に対処し、システムパフォーマンスを大幅に向上させることを示しています。

要約(オリジナル)

Cascade Ranking is a prevalent architecture in large-scale top-k selection systems like recommendation and advertising platforms. Traditional training methods focus on single-stage optimization, neglecting interactions between stages. Recent advances such as RankFlow and FS-LTR have introduced interaction-aware training paradigms but still struggle to 1) align training objectives with the goal of the entire cascade ranking (i.e., end-to-end recall) and 2) learn effective collaboration patterns for different stages. To address these challenges, we propose LCRON, which introduces a novel surrogate loss function derived from the lower bound probability that ground truth items are selected by cascade ranking, ensuring alignment with the overall objective of the system. According to the properties of the derived bound, we further design an auxiliary loss for each stage to drive the reduction of this bound, leading to a more robust and effective top-k selection. LCRON enables end-to-end training of the entire cascade ranking system as a unified network. Experimental results demonstrate that LCRON achieves significant improvement over existing methods on public benchmarks and industrial applications, addressing key limitations in cascade ranking training and significantly enhancing system performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google