From Features to Transformers: Redefining Ranking for Scalable Impact

要約

LinkedInで開発された大規模なランキングフレームワークであるLigrを紹介します。
学習された正規化と同時に、ユーザー履歴とランク付けされたアイテムに同時にセットワイズの注意を組み込む修正されたトランスアーキテクチャを紹介します。
このアーキテクチャにより、次のようないくつかのブレークスルーの成果が可能になります。（1）最も手動で設計された機能エンジニアリングの非難は、少数の機能（ベースラインの数百と比較して）のみを使用して、以前の最先端のシステムを上回っています（2）
ランキングシステムのスケーリング法は、より大きなモデル、より多くのトレーニングデータ、より長いコンテキストシーケンス、および（3）セットワイズ方法でアイテムの同時ジョイントスコアリングを伴うパフォーマンスの向上を示し、多様性の自動改善につながります。
大規模なランキングモデルの効率的なサービングを有効にするために、ユーザー履歴とセットワイズの注意の単一パス処理を使用して、推論を効果的にスケーリングする手法について説明します。
また、さまざまなアブレーション研究とA/Bテストからの重要な洞察を要約し、最も影響力のある技術的アプローチを強調します。

要約(オリジナル)

We present LiGR, a large-scale ranking framework developed at LinkedIn that brings state-of-the-art transformer-based modeling architectures into production. We introduce a modified transformer architecture that incorporates learned normalization and simultaneous set-wise attention to user history and ranked items. This architecture enables several breakthrough achievements, including: (1) the deprecation of most manually designed feature engineering, outperforming the prior state-of-the-art system using only few features (compared to hundreds in the baseline), (2) validation of the scaling law for ranking systems, showing improved performance with larger models, more training data, and longer context sequences, and (3) simultaneous joint scoring of items in a set-wise manner, leading to automated improvements in diversity. To enable efficient serving of large ranking models, we describe techniques to scale inference effectively using single-pass processing of user history and set-wise attention. We also summarize key insights from various ablation studies and A/B tests, highlighting the most impactful technical approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google