Scaling Laws for Online Advertisement Retrieval

要約

スケーリング則はニューラル ネットワーク モデルの注目すべき特性であり、大規模な言語モデルの開発を大きく推進してきました。
スケーリングの法則は、モデル設計とリソース割り当ての指針として大きな可能性を秘めています。
最近の研究では、スケーリングの法則が NLP タスクや Transformer アーキテクチャに限定されないことがますます明らかになってきています。
これらは推奨などのドメインにも適用されます。
しかし、オンライン広告検索システムにおけるスケーリング法則の研究に関する文献はまだ不足しています。
これは、1) リソース コストとオンライン収益のスケーリング則を特定することは、大規模な産業アプリケーションの場合、時間とトレーニング リソースの両方で費用がかかることが多く、2) システムごとに設定が異なるため、スケーリング則をさまざまなシナリオに適用できないことが考えられます。
。
これらの問題に対処するために、低実験コストで特定のオンライン広告検索シナリオにおけるオンライン収益とマシンコストのスケーリング則を特定する軽量パラダイムを提案します。
具体的には、唯一の要因 (FLOP) に焦点を当て、検索モデルのオンライン収益と高い線形相関を示す R/R* というオフライン メトリクスを提案します。
シミュレーション アルゴリズムを使用して、オフラインでマシンのコストを見積もります。
したがって、ほとんどのオンライン実験を低コストのオフライン実験に変えることができます。
私たちは、提案した指標 R/R* の有効性を検証し、Kuaishou のオンライン広告検索システムにおけるスケーリング則を特定するために、包括的な実験を実施します。
スケーリング則を使用して、Kuaishou 広告システムにおける ROI に制約のあるモデル設計とマルチシナリオのリソース割り当ての実用的なアプリケーションを実証します。
私たちの知る限り、これは現実世界のシステムのオンライン広告検索のためのスケーリング則を研究した最初の研究であり、広告システムの最適化におけるスケーリング則の大きな可能性を示しています。

要約(オリジナル)

The scaling law is a notable property of neural network models and has significantly propelled the development of large language models. Scaling laws hold great promise in guiding model design and resource allocation. Recent research increasingly shows that scaling laws are not limited to NLP tasks or Transformer architectures; they also apply to domains such as recommendation. However, there is still a lack of literature on scaling law research in online advertisement retrieval systems. This may be because 1) identifying the scaling law for resource cost and online revenue is often expensive in both time and training resources for large-scale industrial applications, and 2) varying settings for different systems prevent the scaling law from being applied across various scenarios. To address these issues, we propose a lightweight paradigm to identify the scaling law of online revenue and machine cost for a certain online advertisement retrieval scenario with a low experimental cost. Specifically, we focus on a sole factor (FLOPs) and propose an offline metric named R/R* that exhibits a high linear correlation with online revenue for retrieval models. We estimate the machine cost offline via a simulation algorithm. Thus, we can transform most online experiments into low-cost offline experiments. We conduct comprehensive experiments to verify the effectiveness of our proposed metric R/R* and to identify the scaling law in the online advertisement retrieval system of Kuaishou. With the scaling law, we demonstrate practical applications for ROI-constrained model designing and multi-scenario resource allocation in Kuaishou advertising system. To the best of our knowledge, this is the first work to study the scaling laws for online advertisement retrieval of real-world systems, showing great potential for scaling law in advertising system optimization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google