ReLLa: Retrieval-enhanced Large Language Models for Lifelong Sequential Behavior Comprehension in Recommendation

要約

大規模言語モデル (LLM) が自然言語処理 (NLP) ドメインで目覚ましい進歩を遂げたことにより、LLM で強化されたレコメンダー システムが大きな注目を集め、現在積極的に研究されています。
このペーパーでは、ゼロショットおよび少数ショットのレコメンデーション タスクに純粋な大規模言語モデルを適応させて強化することに焦点を当てます。
何よりもまず、推奨ドメインにおける LLM の生涯にわたる連続的な行動の理解不能問題を特定し、定式化します。つまり、コンテキストの長さがコンテキストに到達しない場合でも、LLM は長いユーザー行動シーケンスのテキストコンテキストから有用な情報を抽出できません。
LLM の制限。
このような問題に対処し、LLM の推奨パフォーマンスを向上させるために、ゼロショット設定と少数ショット設定の両方での推奨タスク用の新しいフレームワーク、すなわち検索強化大規模言語モデル (ReLLa) を​​提案します。
ゼロショット推奨では、セマンティック ユーザー行動取得 (SUBR) を実行してテスト サンプルのデータ品質を向上させます。これにより、LLM がユーザー行動シーケンスから重要な知識を抽出する困難が大幅に軽減されます。
少数ショット推奨に関しては、トレーニング サンプルのデータ拡張手法として SUBR を採用することで、検索強化命令チューニング (ReiT) をさらに設計します。
具体的には、元のデータ サンプルと検索で強化された対応するデータの両方から構成される混合トレーニング データセットを開発します。
私たちは、既存のベースライン モデルと比較した ReLLa の優位性と、生涯にわたる連続的な行動の理解能力を実証するために、3 つの現実世界の公開データセットで広範な実験を実施しました。
注目すべき点は、わずか 10% 未満のトレーニング サンプルで、少数ショット ReLLa がトレーニング セット全体 (DCNv2、DIN、SIM など) でトレーニングされた従来の CTR モデルを上回るパフォーマンスを発揮できることです。

要約(オリジナル)

With large language models (LLMs) achieving remarkable breakthroughs in natural language processing (NLP) domains, LLM-enhanced recommender systems have received much attention and have been actively explored currently. In this paper, we focus on adapting and empowering a pure large language model for zero-shot and few-shot recommendation tasks. First and foremost, we identify and formulate the lifelong sequential behavior incomprehension problem for LLMs in recommendation domains, i.e., LLMs fail to extract useful information from a textual context of long user behavior sequence, even if the length of context is far from reaching the context limitation of LLMs. To address such an issue and improve the recommendation performance of LLMs, we propose a novel framework, namely Retrieval-enhanced Large Language models (ReLLa) for recommendation tasks in both zero-shot and few-shot settings. For zero-shot recommendation, we perform semantic user behavior retrieval (SUBR) to improve the data quality of testing samples, which greatly reduces the difficulty for LLMs to extract the essential knowledge from user behavior sequences. As for few-shot recommendation, we further design retrieval-enhanced instruction tuning (ReiT) by adopting SUBR as a data augmentation technique for training samples. Specifically, we develop a mixed training dataset consisting of both the original data samples and their retrieval-enhanced counterparts. We conduct extensive experiments on three real-world public datasets to demonstrate the superiority of ReLLa compared with existing baseline models, as well as its capability for lifelong sequential behavior comprehension. To be highlighted, with only less than 10% training samples, few-shot ReLLa can outperform traditional CTR models that are trained on the entire training set (e.g., DCNv2, DIN, SIM).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google