AutoML for Large Capacity Modeling of Meta’s Ranking Systems

要約

何十億ものユーザーにサービスを提供する Meta の Web スケールのランキング システムは複雑です。
ランキング モデルの改善は不可欠ですが、エンジニアリングは大変です。
自動機械学習 (AutoML) は、エンジニアをランキング モデルの調整という労働集約的な作業から解放します。
ただし、AutoML が現実の厳しい生産スケジュールに応えるのに十分な効率性を備え、同時に強力なベースラインにさらなる改善をもたらすかどうかは不明です。
さらに、より高いランキング パフォーマンスを達成するために、ランキング モデルをさらに大容量にスケールアップする要求がますます高まっており、効率にさらなる課題が課せられています。
大規模なモデルとタイトな生産スケジュールのため、AutoML は少数のモデル評価トライアル (約 100) のみを使用して人間のベースラインを上回るパフォーマンスを発揮する必要があります。
ニューラル アーキテクチャの検索とハイパーパラメータの最適化に焦点を当てたサンプリング ベースの AutoML 手法を紹介し、大容量モデルを構築する際のメタスケール生産におけるこれらの課題に対処します。
私たちのアプローチは大規模なデータ需要を効率的に処理します。
軽量の予測子ベースの検索機能と強化学習を利用して広大な検索空間を探索し、モデル評価の数を大幅に削減します。
CTR および CVR アプリケーションの大容量モデリングの実験を通じて、私たちの手法が人間が調整したベースラインと比較して優れた投資収益率 (ROI) を達成し、最大 0.09% の正規化エントロピー (NE) 損失削減または 1 秒あたり 25\%$ のクエリを達成できることを示しました。
(QPS) は、厳選された検索スペースから平均 100 のモデルをサンプリングするだけで増加します。
提案された AutoML 手法はすでに現実世界に影響を及ぼしており、最大 -0.36% NE ゲイン (既存の運用ベースラインに対して) を持つ発見された Instagram CTR モデルが大規模なオンライン A/B テストに選択され、統計的に有意なゲインを示しています。
これらの制作結果により AutoML の有効性が証明され、Meta のランキング システムへの導入が加速しました。

要約(オリジナル)

Web-scale ranking systems at Meta serving billions of users is complex. Improving ranking models is essential but engineering heavy. Automated Machine Learning (AutoML) can release engineers from labor intensive work of tuning ranking models; however, it is unknown if AutoML is efficient enough to meet tight production timeline in real-world and, at the same time, bring additional improvements to the strong baselines. Moreover, to achieve higher ranking performance, there is an ever-increasing demand to scale up ranking models to even larger capacity, which imposes more challenges on the efficiency. The large scale of models and tight production schedule requires AutoML to outperform human baselines by only using a small number of model evaluation trials (around 100). We presents a sampling-based AutoML method, focusing on neural architecture search and hyperparameter optimization, addressing these challenges in Meta-scale production when building large capacity models. Our approach efficiently handles large-scale data demands. It leverages a lightweight predictor-based searcher and reinforcement learning to explore vast search spaces, significantly reducing the number of model evaluations. Through experiments in large capacity modeling for CTR and CVR applications, we show that our method achieves outstanding Return on Investment (ROI) versus human tuned baselines, with up to 0.09% Normalized Entropy (NE) loss reduction or $25\%$ Query per Second (QPS) increase by only sampling one hundred models on average from a curated search space. The proposed AutoML method has already made real-world impact where a discovered Instagram CTR model with up to -0.36% NE gain (over existing production baseline) was selected for large-scale online A/B test and show statistically significant gain. These production results proved AutoML efficacy and accelerated its adoption in ranking systems at Meta.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google