Breaking the Length Barrier: LLM-Enhanced CTR Prediction in Long Textual User Behaviors

要約

大規模言語モデル (LLM) の台頭により、最近の研究では LLM を活用してクリックスルー率 (CTR) 予測のパフォーマンスを向上させています。
しかし、LLM を実用化するには、長いテキストのユーザー行動を処理する際の LLM の効率という重大な障害が依然として残っていると私たちは主張します。
ユーザー シーケンスが長くなるにつれて、現在の LLM の効率では、数十億のユーザーとアイテムのトレーニングには不十分になります。
LLM の効率の壁を突破するために、LLM ベースの CTR モデリングの効率を高める Behavior Aggregated Hierarchical Encoding (BAHE) を提案します。
具体的には、BAHE は、ユーザーの行動のエンコーディングを行動間の相互作用から切り離す、新しい階層アーキテクチャを提案しています。
まず、同一のユーザー行動の繰り返しエンコードによる計算の冗長性を防ぐために、BAHE は LLM の事前トレーニングされた浅い層を使用して、広範なユーザー シーケンスから最も詳細でアトミックなユーザー行動の埋め込みを抽出し、オフライン データベースに保存します。
その後、LLM のより深いトレーニング可能な層が複雑な動作間の相互作用を促進し、それによって包括的なユーザー埋め込みが生成されます。
この分離により、高レベルのユーザー表現の学習を低レベルの動作エンコーディングから独立させることができ、計算の複雑さが大幅に軽減されます。
最後に、これらの洗練されたユーザー エンベディングは、対応して処理されたアイテム エンベディングと併せて CTR モデルに組み込まれ、CTR スコアが計算されます。
広範な実験結果により、BAHE は、特に長いユーザー シーケンスの場合、LLM を使用した CTR モデルのトレーニング時間とメモリを 5 分の 1 に削減することが示されています。
BAHE は実世界のシステムに導入されており、8 つの A100 GPU で 5,000 万件の CTR データを毎日更新できるため、LLM が産業用 CTR 予測に実用的になります。

要約(オリジナル)

With the rise of large language models (LLMs), recent works have leveraged LLMs to improve the performance of click-through rate (CTR) prediction. However, we argue that a critical obstacle remains in deploying LLMs for practical use: the efficiency of LLMs when processing long textual user behaviors. As user sequences grow longer, the current efficiency of LLMs is inadequate for training on billions of users and items. To break through the efficiency barrier of LLMs, we propose Behavior Aggregated Hierarchical Encoding (BAHE) to enhance the efficiency of LLM-based CTR modeling. Specifically, BAHE proposes a novel hierarchical architecture that decouples the encoding of user behaviors from inter-behavior interactions. Firstly, to prevent computational redundancy from repeated encoding of identical user behaviors, BAHE employs the LLM’s pre-trained shallow layers to extract embeddings of the most granular, atomic user behaviors from extensive user sequences and stores them in the offline database. Subsequently, the deeper, trainable layers of the LLM facilitate intricate inter-behavior interactions, thereby generating comprehensive user embeddings. This separation allows the learning of high-level user representations to be independent of low-level behavior encoding, significantly reducing computational complexity. Finally, these refined user embeddings, in conjunction with correspondingly processed item embeddings, are incorporated into the CTR model to compute the CTR scores. Extensive experimental results show that BAHE reduces training time and memory by five times for CTR models using LLMs, especially with longer user sequences. BAHE has been deployed in a real-world system, allowing for daily updates of 50 million CTR data on 8 A100 GPUs, making LLMs practical for industrial CTR prediction.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google