LiRank: Industrial Large Scale Ranking Models at LinkedIn

要約

私たちは、最先端のモデリング アーキテクチャと最適化手法を実稼働環境にもたらす、LinkedIn の大規模ランキング フレームワークである LiRank を紹介します。
有名な DCNv2 アーキテクチャに注意と残留接続を追加する Residual DCN を含む、いくつかのモデリングの改善を発表します。
SOTA アーキテクチャの組み合わせと調整に関する洞察を共有して、Dense Gating、Transformers、Residual DCN などの統合モデルを作成します。
また、新しいキャリブレーション手法を提案し、深層学習ベースの探索/活用手法をどのように製品化したかについて説明します。
大規模なランキング モデルを実稼働グレードで効果的に提供できるようにするために、量子化と語彙圧縮を使用してモデルをトレーニングおよび圧縮する方法について詳しく説明します。
フィードのランキング、求人の推奨、広告のクリック率 (CTR) 予測の大規模なユースケース向けの展開セットアップの詳細を提供します。
最も効果的な技術的アプローチを明らかにすることで、さまざまな A/B テストから得た知見をまとめます。
これらのアイデアは、LinkedIn の全般的な相対指標の改善に貢献しました。フィード内のメンバー セッション数は +0.5%、求人検索と推奨事項での適格求人応募数は +1.76%、広告 CTR は +4.3% となりました。
この研究が、大規模なディープ ランキング システムの活用に関心のある実務者に実用的な洞察とソリューションを提供できることを願っています。

要約(オリジナル)

We present LiRank, a large-scale ranking framework at LinkedIn that brings to production state-of-the-art modeling architectures and optimization methods. We unveil several modeling improvements, including Residual DCN, which adds attention and residual connections to the famous DCNv2 architecture. We share insights into combining and tuning SOTA architectures to create a unified model, including Dense Gating, Transformers and Residual DCN. We also propose novel techniques for calibration and describe how we productionalized deep learning based explore/exploit methods. To enable effective, production-grade serving of large ranking models, we detail how to train and compress models using quantization and vocabulary compression. We provide details about the deployment setup for large-scale use cases of Feed ranking, Jobs Recommendations, and Ads click-through rate (CTR) prediction. We summarize our learnings from various A/B tests by elucidating the most effective technical approaches. These ideas have contributed to relative metrics improvements across the board at LinkedIn: +0.5% member sessions in the Feed, +1.76% qualified job applications for Jobs search and recommendations, and +4.3% for Ads CTR. We hope this work can provide practical insights and solutions for practitioners interested in leveraging large-scale deep ranking systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google